モデルの性能が落ちたと感じるとき、その理由は大きく2つ考えられます。

1つは、本当に性能が落ちた場合です。2026年4月、Anthropicは3つの変更があったことを公表しました。Claude Codeのデフォルトeffort（モデルにどれだけ考えさせるかを調整する設定）が下げられました。また、1時間を超えて使われていなかった会話で、その後の各ターンごとに以前の思考内容が消えるバグがありました。さらに、回答をより簡潔にするよう求めるシステム指示（system prompt）が1行ありました。いずれも製品で起きたことで、この件はAPIには影響していません。

もう1つは、性能が落ちたように感じるだけの場合です。Arvind NarayananとSayash KapoorはGPT-4をめぐる議論で、人は使い続けるほどモデルの限界に気づきやすくなるという仮説を紹介しました。また、モデルの振る舞いが変わることと能力が落ちることは、使う人にはよく似て感じられることがあるとも指摘しています。

nerfはゲーム用語で、キャラクターや武器を弱くすることを指します。NerfBenchは、「そう感じる」という印象を、繰り返し実行するテストに置き換えようとしています。

NerfBenchの測定方法

NerfBenchはBridgeBenchが公開している追跡ランキングです。毎回同じ非公開テストを使い、50問をそれぞれ3回試します。初回の結果を100%の基準とし、その後は毎回その結果と比べます。

90〜110%は通常の変動の範囲です。運だけでもスコアは上下するためです。同じ方向に2回続けて範囲を外れたとき、初めて変化として扱います。

現在のランキング

ランキングで公開されている最新の測定は10月16日です。4モデルを追跡しており、正常範囲を外れたモデルはありません。

NerfBenchで追跡する4モデルのPowerの推移。正常範囲は90%から110%です
4モデルのPowerの推移と、正常範囲の90〜110%。出典：BridgeBench NerfBenchランキング、小企鵝が再作成

スコアの見方

NerfBenchのスコアはPowerと呼ばれます。ここでは「スコア」とします。通常、正答率が約6割を占め、残りは使用したtoken（モデルが処理するテキストの単位）の量と費用で計算されます。使用量が少ないほど加点されます。そのため、スコアが高いからといってモデルが賢いとは限りません。Codexは費用を報告せず、計算時の比重も異なります。

公式の計算式に当てはめると、知っておきたい例が2つあります。正答率が大きく下がっても、スコアが正常範囲に収まることがあります。モデルの費用が下がり、正解数が減っても、スコアが上がる場合さえあります。

ランキングの例では、Opus 5.5のスコアは2週間で94.2%から105.8%に変わりました。どちらも正常範囲です。

スコアを見るときは、次の点を覚えておきましょう。

  • 測定するのはツールを使わない1回の回答です。Claude Codeで毎日プロジェクトに取り組む場合とは異なります。
  • スコアが変わっても、原因はわかりません。
  • テストの問題と答えの全文は公開されていません。公開ページにも毎回の正答率、tokenの量、費用が載っていないため、第三者が自分で計算し直すことはできません。
  • 公式には週3回以上測定するとありますが、ランキングで公開されている測定点はそれより少なく、公開前には審査もあります。

このランキングを運営しているのは？

BridgeBenchとNerfBenchは、AIコーディングツールを販売するBridgeMindが作っています。2026年4月、BridgeBenchが公開した別のテスト結果に批判が集まりました。批判した人たちは、前後のテストで問題数が異なり、共通する問題だけで比べると差は小さいと指摘しました。10月には、範囲と比重の決め方について公開の場で質問が出ました。その後BridgeBenchはテスト方法を公開しましたが、問題は引き続き非公開です。

ほかの追跡ランキング

  • AI Stupid Level：各社のAPIを頻繁にテストします。
  • LiveNerf：オープンソースで、Claude Codeを毎日テストします。
  • MarginLab：Claude Codeを測定しています。10月31日時点では検出を一時停止し、基準を作り直しています。

性能が落ちたと感じたら、順番に確認

  1. 新しい会話を開き、同じ質問を貼り付けて試します。長い会話も回答の質に影響することがあります。理由は100万tokenの甘い罠で説明しています。
  2. effortやthinkingの設定を確認します。
  3. アプリやCLIのバージョンとリリースノートを確認します。Anthropicのドキュメントによると、同じモデルIDの重み（学習済みモデルのパラメーター）は更新されませんが、周辺のサービスは変わることがあります。
  4. 1回の結果には運による部分もあるため、同じ質問を何度か試してから判断します。NerfBenchも各問題を繰り返し出題しています。
  5. 最後に追跡ランキングを確認します。

ランキングに異常がなくても、あなたの場合に変化がなかったとは限りません。異常があっても、原因まではわかりません。