livenerfがClaude Opus 5.5劣化追跡

AIモデルがローンチ後に悪くなったという不満はよくあるが、その原因はいくつか考えられる。実行コストを下げるための量子化、モデルの縮小、思考努力の低下、ルーティングの変更などだ。また、単なる知覚にすぎない場合もある。経験豊富なユーザーが悪い回答ばかり目につくようになるケースだ。livenerfは、モデルのリリース日から継続的にクリーンなテストデータを収集することで、そうしたケースを切り分けようとする。モデルが本当に劣化したかという問いを、印象ではなく証拠で議論できるようにするためだ。

このベンチマークは、英国AI安全保障研究所が公開したオープンソースの評価フレームワークInspect上に構築されており、モデルが常に正解する問題や常に間違える問題を意図的に避けている。代わりに、モデルが正解したり間違えたりする問題を監視し、実際の低下をより見つけやすくする。Claude Opus 5.5では、正答率50%前後に位置する78問がそれにあたる。

現在の読みは、Claude Opus 5.5の正答率が9月24日から30日にかけて日々上下したものの、一定の範囲内にとどまったというものだ。livenerfの手法は、リリース後最初の10日間で基準を設定し、続く10日間の平均を追跡する。そのため、より明確な判断はこの比較の結果を待つことになる。1つの注意点は、livenerfが生のAPIモデルではなくClaude Opus 5.5のサブスク版で動作すること、そして一部の生物・数学の問題がセーフガードで拒否され空白のままとなったことだ。これにより、結果が開発者の実際の利用をどの程度完全に反映するかが制限される可能性がある。