AIエージェントの長期判断、最高モデルでも59.7%

このベンチマークは、エージェントの実際の働き方に関する単純な観察に基づいている。同じタスクを複数回試すと試行はやがて分岐し、最終結果を見ればどちらの経路が良かったかが分かる。研究チームは実行をその分岐点で固定し、後の作業をすべて隠すことで、通常のエージェント実行をラベル付きの比較に変えた。元データはSWE-bench ProやMETRのMALTトランスクリプト公開分を含む、コーディングとAI研究タスクの数千件の採点済み実行から得たもので、自動生成ラベルのほぼすべてを人による確認が裏付けている。

結果には際立つパターンがある。決め手となる手がかりが先行ステップにすでに見えている場合、全モデルの平均正答率は62.3%に達する。その手がかりが長い後続作業の後にしか現れない場合、正答率は21%まで下がり、ランダム推測に近づく。研究チームは2モデルで3つの推論設定を変えて再試行したが、最低設定から最高設定に切り替えても正答率はほとんど変わらなかった。モデルは最も難しい段階で最も多くの推論トークンを使い、最も多く外した問題に最も長く考えていた。チームはこれを、そうした分岐点では必要な手がかりがそもそもまだ存在しないことの表れと見ている。

著者らは、これが従来のエンドツーエンドのテストとは異なる能力を捉えていると主張する。SWE-bench Verifiedで同程度の成績のモデル同士がTaste-Benchでは明確な差を見せる。この能力は教えられることも示した。教師モデルの判断をQwen3.6-27Bの生徒モデルに蒸留すると未見タスクの正答率は30%から47.9%に上昇し、その生徒の助言を別のエージェントに与えるとSWE-bench Proの成功率は14.6%から33.7%に上がり、完全な助言の上限である39%に近づいた。