METR、AI と人間の費用比較指標「支出地平線」を提案

METRの新しい「支出地平線」指標は、AI研究の基本的な問いに対処している。AIエージェントを展開することが人間に同じ問題に取り組ませるより費用対効果が高くなるのはどの時点か。この指標は、METRが以前のテストで行った観察から生まれた。AIエージェントは単純で低コストのタスクでよく機能するが、予算が増えてタスクが難しくなると遅れを取る傾向がある。計算、実験的オーバーヘッド、人間労働を含むすべてのコストを単一通貨に変換することで、この指標は二進法の合格・不合格ベンチマークの誤解を招く単純さを回避し、代わりに各ドルがどれだけの改善をもたらすかを明らかにする。

NanoGPT speedrunは、測定可能な成果を伴う単一の明確に定義された最適化問題—標準ハードウェアでの学習時間の短縮—を分離するため、テストに理想的な試験場となった。2024年5月以来、コミュニティ貢献者は82の文書化されたステップを通じて累積33倍の高速化を達成し、学習時間は約45分から2分以下に低下した。METRの費用分析—面談とAI生成の労力推定に基づく—は、人間がおよそ1％の改善あたり2,500ドルを投資し、合計で約25万ドルの人間労力を投じていることを発見した。対照的に、METRがテストした6つのAIモデル（GPT-5、GPT-5.5、Opus-4.1、Opus-4.8）は、支出地平線が最大でも低い4桁を生成し、最も有能な2つのモデルのみが測定可能な進歩を提供した。これは、現在のAIエージェントが、かなりの計算予算を与えられても、オープンエンドな最適化タスクにおける人間の研究者の生産性にはほど遠いままであることを示唆している。

しかし、この研究は重要な注意事項を含んでいる。METRがテストしたのは、AnthropicのOpus 5および他の新しいシステムの前にリリースされた古いモデルのみであり、これらは大幅な効率向上を主張している（Opus 5は前身より計算ステップを26％削減しながらより高い性能を達成する）。さらに根本的には、この指標はAIが孤立して動作するシナリオを測定する—実際に起こることはまれだ。実際の研究者はAIを協調的ツールとして使用し、METRはAIを賢く展開する人間が純粋な人間と純粋なAI の両方のアプローチを上回るべきことを示唆する仮想的な「ハイブリッド曲線」をスケッチした。しかし、METRの以前の研究は、人間プラスAIセットアップが単独の人間より悪いパフォーマンスを示すことがあることを示しており、付加価値はAIがどのように展開されるかに大きく依存することを示唆している。同じ研究者がAIサポートの有無で作業する比較実験—この問題を解決できるが、組織するのは後勤面で困難だろう。