Co-Design Bench：GPT-6 Astraが

新しいベンチマークは、コーディングエージェントが従来のテストを飽和させた時期に登場した。著者らは、モデルが自身のコードを実行・確認・修正できる場合、既存ベンチマークで99%超のスコアに達し、モデル間の差を測るのが難しくなると指摘する。Co-Design Benchはより難しい実世界のリクエストを意図的に選んでおり、結果の差は歴然だ。GPT-6 Astraが完全に解決できるのは26.4%のタスクのみで、リポジトリタスクでは18%弱にとどまる。

研究はまた、ハーネス（エージェントがコードを読み書きし実行するプログラム）がモデルと同程度に結果に影響することを示す。Qwen3.8-27Bは環境によって大規模改修のスコアが75%にも56%にもなり、2モデルのどちらが上位になるかも環境によって異なった。そのため著者らはモデルと作業環境を常に併記して報告することを推奨しており、コーディングエージェントを選ぶ企業にとっては両者を一組としてテストすることを意味する。

ベンチマークには限界がある。タスクごとに固定のリクエストを1つ評価し、追加質問や作業途中の修正はなく、AIジャッジも誤りうる。これは以前の知見とも一致する。例えばMETRの研究では、AI生成コードのプロジェクトリードによる実際の受け入れ率がSWE-bench Verifiedのスコアより約24ポイント低いことが示され、ベンチマーク結果が実用性と乖離しうることが浮き彫りになっている。