複雑なエージェント基盤に効果なし

自律型の機械学習工学エージェントは公開リーダーボードで大きな進歩を遂げてきた。こうしたシステムは、長期的な進捗の停滞やLLMプリミティブの制約を背景に、マルチエージェントオーケストレーターや専用の検索サブエージェントなど、ますます複雑化する機構の上に導入されることが多い。一方、より原始的だが改良されたコーディングエージェント——LLMがread、write、bashプリミティブを通じて実行環境に直接アクセスするもの——の利用はほとんど注目されてこなかった。

本論文はこの空白を大規模な系統的アブレーション研究で埋める。著者らは、コーディングエージェントの設定では機構の層が冗長になると結論づけている。同じ時間予算と同じフロンティアLLMバックボーンの下で、オープンソースの最先端ハーネスは最小ハーネスのコーディングエージェントベースラインの単一セッションに対する優位性を示さない。著者らはバックボーンが性能の主要な決定要因だと指摘し、手作りのハーネスを精巧化する努力は現在のMLEベンチマークでは見返りが乏しいと結論づけている。

重要なのは、これらのベンチマーク結果が他のタスクや設定に一般化するかどうかである。エージェントスキャフォールディングに投資するチームにとって、この知見は、基盤モデルが強力であれば追加のオーケストレーションや検索層への見返りは限定的かもしれないことを示唆するが、これを確認するには他のベンチマークでのさらなる検証が必要だろう。