生锈金属背景前的大型齿轮机械装置

他们把外壳单独拎了出来

伯克利与 Arena 的研究者做了一件事：把编码 Agent 拆成两个变量——模型，以及负责工具、上下文与任务执行的那套外壳。他们在 SWE-bench Lite 与 Terminal-Bench 2.0 上，用 7 个模型乘 3 个外壳（Claude Code、Codex CLI、Pi）共 21 组组合，每个基准取 30 道随机任务、每题重复 3 次，单次最多 100 轮，价格统一按 9 月 1 日的 API 价目计算。

结论一：外壳主要影响成本，不太影响对错

同一个模型换个外壳，成功率差异很小——SWE-bench Lite 上平均在正负 2% 以内，Terminal-Bench 2.0 上约正负 5%。但成本可以差到 5 倍。具体数字：Claude Code 的平均成本约为 Pi 的 2.0 倍、Codex 的 1.6 倍；Fable 5 在 Claude Code 里解出 97.8%，在 Pi 与 Codex 里是 96.7%，而前者每次尝试花 1.33 美元，后者只要 0.67 美元。多花一倍的钱，换来 1.1 个百分点，这就是他们说的「外壳税」。

结论二：只有四个工具的外壳，站在了前沿

Pi 只提供 read、write、edit、bash 四个工具，却在两个基准上都落在成本与成功率的前沿线上。原因能从上下文看出来：七个模型上，Claude Code 的首轮上下文平均是 Pi 的 10 倍以上，指令更长、工具定义更大，而这部分在每一次调用里都要重新付钱。

结论三：模型不必用自家的外壳

在 6 个 Anthropic 与 OpenAI 模型、两个基准共 12 组比较中，有 9 组是「别的外壳」取得了最高的观测成功率。GPT-5.6 Sol 在 Terminal-Bench 2.0 上用 Pi 达到 83.3%，在自己的 Codex 里是 78.9%，成本还只有一半（0.42 对 0.76 美元）。

钱花在哪一轮

研究者还拆了过程数据。同一个模型、同一批任务，在 Pi 与 Claude Code 里的平均轮数几乎一样（15.4 轮对 15.3 轮），账单却差了一倍——说明差距不在「跑得多」，而在每一轮的价格：上下文更长、工具定义更大，等于每次调用都在为同样的信息重复付费。

另一件值得注意的事是，Pi 是开源且极简的，这意味着研究者和团队都能在现成模型上做外壳实验，不必依赖某个厂商的私有环境。研究者也说明，功能更丰富的外壳在其他模型、其他工作负载上仍可能获胜，复杂度应当被当成一个需要实测的取舍，而不是默认越多越好。

给团队的三条动作

第一，别拿榜单的成功率直接选工具，要把自己的任务跑一遍、把账单算出来。第二，优先评估上下文体积与工具数量，它们才是成本的第一性来源。第三，给任务留一条换外壳的通路，不要让流程绑死在某个客户端的私有能力上。省下来的不是小钱，而是同一份预算能多跑一倍任务的空间。