GPT-5.6、ARC-AGI-3で3倍スコア

ARC-AGI-3でのOpenAIの実験は、AI評価における一般的な落とし穴を明らかにしている。ボトルネックはモデルではなくハーネスである可能性がある。公開された数学問題を解き、ポケモン ファイアレッドなどのゲームを攻略してきたGPT-5.6 Solは、公開セットで当初わずか13.3%のスコアだった。デフォルトのハーネスは、各アクション後にモデルの非公開推論を破棄し、古い観測を切り捨てるローリング切り詰めを採用していたため、モデルは毎ターンゲームを学習し直すことを強いられていた。推論保持とコンパクションを備えたResponses API（ChatGPTやCodexでの本番使用を反映した設定）に切り替えると、スコアは38.3%に跳ね上がり、出力トークンは6分の1に減少した。

この不一致は、ベンチマークがモデル能力とともに、API設定、ハーネス設計、プロンプティングといった一連の選択を測定していることを浮き彫りにしている。ARC-AGI-3のハーネスは公平性を重視して意図的に汎用設計にされたが、非公開推論を使用するように訓練されたGPT-5.6のようなフロンティアモデルには適さない可能性がある。OpenAIが開発者に推論とコンパクションを備えたResponses APIの使用を推奨していることは、業界をより現実的な評価へと押し進める可能性があるが、この主張は他のモデルやハーネスでも同様の利点が得られるかどうかにかかっている。