沙地上留下的一串脚印

争论一直停留在"体感对体感"

过去几个月，社区里反复出现一种说法：Anthropic 的模型上线几周后会「变差」。可能的原因有很多——做了量化、同名换成了更小的模型、降低了推理强度、或者后端路由变了；也可能什么都没发生，只是人们在噪声里找规律。麻烦在于，没有人手上有干净的「上线当天基线」，于是争论最后都变成感觉对感觉。

Claude Opus 5.5 在 2026 年 9 月 22 日发布，正好给了从发布当天开始计时的机会。开源项目 livenerf 就是为这一件事写的：一个长期运行、尽量确定性的基准，只回答一个问题——模型上线之后会不会悄悄变差。

模型不可能确定，那就把别的都钉死

这个项目的做法相当克制。它承认模型输出不可能完全复现：采样参数已取消，思考过程也关不掉。既然如此，它只把其他环节确定下来——提示词冻结、CLI 版本锁定、判分器固定，原始日志永久保留，然后用统计方法在成千上万个样本上测漂移。

它没有自创方法：评测框架用的是英国 AI 安全研究院（UK AI Security Institute）开源的项目 Inspect；统计方法沿用 Anthropic 自己那篇《Adding Error Bars to Evals》。这种 "用同一套尺子去量" 的选择，让结论不容易被质疑方法不正。

样本也不是随手挑的。项目从 2336 道 GPQA Diamond、MMLU-Pro、竞赛数学和 AIME 2025–26 题目里，每题采样 4 次，最后留下 78 道「时对时错」的题组成面板——永远对或永远错的题，测不出水平变化。

目前跑出的进度

计时从 2026 年 9 月 24 日 22:10 UTC 开始，也就是发布后约两天半。计划每天跑一次、连续 30 天：前 10 天建立基线，之后是两个 10 天窗口，最早能下结论约在 10 月 24 日，第一行正式结果在第 20 天后出现。面板经过预注册流程（v2）选定、锁定并校验。

截至 9 月 29 日的进度是：30 天收满 6 天、没有遗漏；6 天都跑满 90 个样本，运行在同一份 harness 哈希（461391b6fce64167）上，CLI 锁定 2.1.280。第 5 天因预算上限被人工覆盖过一次，记在偏差日志里——这种「把偏差也写下来」的习惯，才是长期测量能被信任的关键。

它记录的数据也足够细：完整提示词与回答、用量、延迟、CLI 版本、harness 的 git SHA、题目与条目哈希，以及每次运行前后的订阅用量。

一个必须说清的边界

项目自己强调了适用范围：livenerf 测的是 "通过 Claude Code 订阅方式提供服务的 Opus 5.5"，而不是裸 API 的模型。而这恰恰是大多数 "降智" 传闻真正指向的对象。另外，发布周得到的基线只是参照点，不是真值。

对做企业数字化和小团队的实际启发

这套方法的迁移价值比它的结论更大。客户经常说 "系统越用越慢""感觉不如上个月准"，而团队的回应往往是直接改代码或加机器——在没有基线的情况下，这两种反应都是在赌。

更稳的顺序是：先把关键路径上的几个固定样本存下来（同一批输入、同一套判分标准、打上时间戳），把版本号和配置一起记进日志，再谈优化。等有人说「变差了」，你手上是可对比的两组数据，不是两段记忆。这件事今天就能做，成本几乎为零，也不需要任何新工具。

还有一点关于预期管理：一个要跑满 30 天才给出第一份判断的项目，说明「模型上线后的表现」本身就是长期观测对象。给客户做 AI 交付时，验收标准里最好留一条长期指标，而不是上线当天验一次就结束。