你的模型变笨了吗？这种感觉可能有两种来源。

一种是真的变差了。2026 年 4 月，Anthropic 公开确认了三项变更。Claude Code 的默认 effort（模型思考时投入多少的设置）被调低了。一个 bug 导致闲置超过一小时的对话之后每一轮都会清除之前的思考。还有一行系统指令（system prompt）要求回答更精简。这三项变更都发生在产品上，那次事件没有影响 API。

另一种是感觉变差了。Arvind Narayanan 和 Sayash Kapoor 谈到 GPT-4 争议时提出一种假说：人用得越多，就越容易注意到模型的局限。他们也提醒，模型行为发生变化和能力退化，对用户来说感觉可能很像。

Nerf 原本是游戏里的说法，指削弱角色或武器。NerfBench 想用反复测试取代“我觉得”。

NerfBench 怎么测

NerfBench 是 BridgeBench 推出的追踪榜。它的做法就像反复考同一份不公开的试卷：50 道题，每道题测 3 次。第一次的成绩作为 100% 的基准，之后每次都和它比较。

90–110% 算正常波动，因为光靠运气，分数本来就会上下浮动。要连续两次朝同一方向超出范围，才算数。

榜单现在是什么情况

榜单最近一次测试是在 10 月 16 日，共追踪 4 个模型，没有一个超出正常范围。

NerfBench 上四个模型的 Power 走势，正常范围是 90% 到 110%
四个模型的 Power 走势和 90–110% 的正常范围。数据来源：BridgeBench NerfBench 榜，小企鹅重绘

分数怎么看

NerfBench 的分数叫 Power，下面简称分数。通常大约六成取决于答对率，其余看用了多少 token（模型处理文本的计量单位）和花了多少钱，用得越少越加分。因此分数高，不代表模型更聪明。Codex 不报告费用，计分权重也不同。

按官方公式估算，有两种情况值得了解。答对率下降不少，分数可能仍在正常范围内。模型变便宜、答对的题目变少，分数甚至可能上升。

榜单上的例子：Opus 5.5 在两周内从 94.2% 变为 105.8%，两个数字都算正常。

看分数时要记住：

  • 测的是单次回答，没有工具，和每天用 Claude Code 做项目不一样。
  • 分数变了，看不出是什么原因造成的。
  • 完整题目和答案没有公开，公开页面也没有每次测试的答对率、token 和费用，外人无法自行重新计算。
  • 官方写的是每周至少测试三次，榜单上公开的数据点比较少，发布前还要经过审核。

谁在做这个榜

BridgeBench 和 NerfBench 都由 BridgeMind 打造，这家公司销售一款 AI 编程工具。2026 年 4 月，BridgeBench 的另一项测试结果引来批评。批评者指出前后两次的题目数量不同，只比较两次共有的题目，差距很小。10 月，有人公开询问正常范围和权重是怎么确定的，BridgeBench 随后公布了测试方法，题目仍然保密。

其他追踪榜

  • AI Stupid Level：经常测试各家的 API。
  • LiveNerf：开源，每天测试 Claude Code。
  • MarginLab：测试 Claude Code，截至 10 月 31 日暂停检测，正在重建基准。

觉得模型变笨时，按顺序检查

  1. 开新对话，粘贴同一个问题。长对话也可能影响质量，原因见一百万 token 的甜蜜陷阱。
  2. 查看 effort 或 thinking 设置。
  3. 查看 app 或 CLI 的版本和 release notes。Anthropic 文档写明，同一个模型 ID 的权重（训练好的模型参数）不会更新，但周边服务可以改变。
  4. 对同一道题多测几次再判断，因为单次结果有一部分靠运气。NerfBench 也会对每道题重复测试。
  5. 最后再看追踪榜。

榜单没有异常，不代表你的情况没有变化。榜单有异常，也看不出原因。