AIエージェントのチーム化、品質向上ほぼなし

この発見は、AIモデルのチームがより困難な問題に取り組む方法として喧伝されるマルチエージェントアーキテクチャへの熱気が高まる中で出てきた。Vals AIのベンチマークは、GPT-6 SolとClaude Opus 5.5を使いVibe Code Benchで実施され、各モデルを単独およびチームで中程度と最大の推論強度で比較することで、その前提を直接検証した。コスト差は大きく——1.8倍から5.1倍——品質差はほとんど見えず、統計的に有意な7.3ポイントの改善を示したのは中程度の推論レベルでのGPT-6 Solのみだった。

Anthropic自身のOpus 5.5に関するデータも同じ方向を指す。同社のテストでは、より大きなチームが特定の性能水準に速く到達したが、10エージェントから100エージェントに増やしても24時間後のスコアはわずかに上がるだけだった。知識ベースのタスクでは、スコアは1エージェントの0.53から100エージェントの0.74に動いた——はるかに多くのトークンを伴う向上だった。Fable 5.1はLean定理証明タスクで10エージェント以上でより強い品質向上を示したが、全テストでOpus 5.5を下回り、知識ベースのスコアは30から100エージェントでわずかに低下した。

実用的な注意点はOpenAIの研究者Noam Brownによるもので、Dwarkesh Podcastで、その利点はタスクに大きく依存すると語った。ウェブ調査と数学は並列化がうまくいくが、小説の執筆はそうではなく、小説に10,000のエージェントを投入するのは10,000人を投入するのと同じくらい無意味だろう。OpenAIの開発者Eric Provencherは、エージェント同士の連携が崩壊するためエージェントスワームは最も無駄になりやすいと警告し、そのコストを「連携税」と呼んだ。