OpenAI の GPT-5.6 Sol、カスタム API 設定で Opus 5 を上回る

何が起きたか

OpenAI は GPT-5.6 Sol が ARC-AGI-3 ロジックベンチマークで38.3パーセントを記録し、Anthropic の Claude Opus 5 の30.2パーセントを上回ったと報告した。この高いスコアは OpenAI のカスタム Responses API と「Retained Reasoning」（モデルの思考の連鎖をステップ間で保持）および「Compaction」（古いコンテキストを要約する）を使用して達成された。公式テストハーネスではこれらの設定なしで GPT-5.6 Sol は7.8パーセントのみだった。

なぜ重要か

ARC-AGI-3 は標準化されたアプローチを使用してプロバイダー間の公正な比較を確保するため、純粋なモデルパフォーマンスをテストするように設計されている。争点は、公式テスト環境で利用できない OpenAI のプロバイダー固有の API 設定の使用がベンチマークの公正性を損なうかどうかである。ARC Prize の共同創業者 François Chollet は、Anthropic が既に Claude API にあった機能を欠いている古い API を使用したため、OpenAI が公式テストで不利になった可能性があることを認めたが、区別を引いた。ARC-AGI-3 のために開発されておらず、すべての API ユーザーが利用できる汎用 API 設定は認められるが、ベンチマークを解くために「カスタムメイドされた」ハーネスは認められない。

注目点

Chollet は異なるプロバイダーが異なる設定を使用することは「潜在的なパリティの問題」を作成すると述べたが、「設定とコストが明確に報告されている限り」それは認められると考えている。この相互作用は AI ベンチマークにおける継続的な課題を浮き彫りにしている。それはモデルの能力をそれを取り巻く技術インフラから分離することの難しさである。