Claude Fable 5が物理AIテストでGPT-5.6を上回る

JuliaBubの評価はフロンティアAIモデルをエンジニアリング作業でどう評価するかについての重大なギャップに対処しています。ベンダー自己申告ベンチマークは固有の利益相反に直面しています。発行者は発表するスコアに向けてチューニングするあらゆるインセンティブを持っています。JuliaBubのインセンティブは逆方向に走ります。同社はDyadを複数のベンダー向けエージェントバックエンドで出荷し、どのモデルが最良の体験を提供するかに関係なくユーザーが最良の体験を得たときに勝ちます。このアライメントはベンダー主張が信用できない場所でその発見を信用できるものにします。

研究設計は他のすべての変数を固定したままモデルパフォーマンスを分離します。Dyad AIエージェントハーネス、5つの封印された問題、推論努力レベル（xhigh）、コンテキストウィンドウ（100万トークン）、トークン予算（128k）です。モデルだけが変わります。評価はコード品質ではなく地上基準に対して採点をグラウンドします。これは物理AIにおいて重大な区別です。ソリューションはコンパイルでき、内部チェックに合格でき、それでも不可能な物理を符号化できます。研究の最難問題、NASAのHL-20リフティングボディはこれを具現化します。2つの技術メモを読み、170個の風洞テーブルを抽出し、6自由度剛体ダイナミクスを実装し、8つの飛行シナリオを実行する必要がありました。どのモデルも完全に解きませんでしたが、トランスクリプトは各モデルがどう失敗し、なぜ失敗したかを明らかにします。

逆実験——モデルを固定したままハーネスを変更——は著しい発見を提供します。フレームワークはモデル選択よりも重要です。これはエンジニアリング作業にフロンティアモデルを評価する企業が、生のモデル機能と同等にエージェントインフラストラクチャと検証ツールを重視すべきであることを示唆しています。コスト対パフォーマンスのトレードオフも重要です。Fableのより高いコストはその深い検証戦略を反映し、GPT-5.6-solは中道を提供し、terraは速度とコストを優先しますが利幅を犠牲にします。正確性が譲歩できない場所のチームではFableの確信が支出を正当化します。値を最適化するチームでは、solは信用できる代替案を提示します。