阴天海滩上几个人在远山前行走

一份把评测集摊开来看的研究

模型能力的评测集这几年越出越多，但很少有人回答一个更朴素的问题：这些评测，到底覆盖了多少真实工作？数据公司 Mercor 做了一份「经济评测地图」（Benchmark Map），做法是把评测集对齐到美国劳工部的 O*NET 职业分类——923 个职业、18,797 项任务，再看他们挑出的 29 个评测集能覆盖到多少。

结论很直接：923 个职业里，只有 208 个职业有至少一项任务被 5 条以上的评测提示覆盖；22 个职业大类里有 6 个，一项都没有。按工作时间加权后，报告的估计是——90% 的美国工作时间，花在几乎没有评测覆盖的任务上。

覆盖不是随机的：先照顾大市场

报告指出评测集的分布有明显偏好。按「AI 暴露度」标签对比，被评为暴露的任务出现在评测里的概率大约是不暴露任务的 6 倍；在控制职业与暴露度之后，任务重要性评分最高的那批，出现在评测里的概率又是最低那批的 6 到 10 倍。

更值得企业注意的是另一个偏差：同一暴露度下，工资总额越大的职业越容易被覆盖。举的例子很生动——同样是高暴露度的法律行业，律师的任务被评测密集覆盖，而法律秘书、法庭书记员的任务几乎没人测。也就是说，中小收入的知识工作长尾，是被忽略的那一段。

为什么这会影响你的选型

想按岗位挑模型的企业，现在只能拿到「某个职业相关的全部评测提示的平均分」。但评测对不同任务的覆盖密度差很多，简单平均会让被测得多的任务说话太大声。Mercor 试了一种修正：按 O*NET 任务等权重加权，让每个任务说话一样响。在投资银行、法律、会计、软件工程四个职业上，加权分和平均分差得不大——但被覆盖到的任务不到这些职业相关任务的三分之一，样本太薄，结论只能算初步。

报告自己列了四个还没解决的问题：某些职业的任务样本太少，一两条坏题就能带偏分数；题目难度与质量参差，还没法按质量加权；现有评测测的多是「替代人」，而现实里模型主要是在「增强人」，这两种能力不是一回事；此外，Dingel 与 Neiman 的估算认为只有约 37% 的美国岗位能完全远程完成，剩下约 63% 带物理世界的成分，现在的评测框架很难装进去。报告也明确说数据是临时版本，扩充评测列表后会更新。

对做企业数字化/小团队的实际启发

第一，别拿榜单分数代替自己的场景验证。榜单覆盖的往往是软件工程、金融分析这类大市场任务，你在做的行业流程很可能整段不在里面——分数高不高，和你的活干得好不好，是两件事。

第二，给客户做 AI 落地评估时，可以把「任务清单」当成交付物的一部分：把这个岗位的日常任务列出来，标出哪些是数字化的、哪些带线下环节，再逐条判断模型能不能接。这份清单本身就是最有说服力的选型依据，比引用任何榜单都硬。

第三，按「增强」而不是「替代」来设计流程。现实里模型是给人打下手的，把人的验收、判断留在流程里，比追求全自动更容易落地，也更容易在出问题时收回来。