AIモデルの評価コストが急増し、誰が評価を実施できるかを左右する段階に達した

Holistic Agent Leaderboard（HAL）は9つのモデルと9つのベンチマーク対して21,730のエージェント実行に約$40,000を費やした。単一のGAIA実行はフロンティアモデル上で$2,829のコストがかかる。

静的なベンチマーク（モデルが予測を行うのみで学習しないテスト）では、100×から200×の計算削減で順位付けがほぼ保持されるが、エージェント評価（AIが自分で判断して作業する評価）では同じ技法の効果は限定的である。エージェントタスクは多段階で分散が高く、短縮が難しい。

Scientific ML領域では、The Wellが1つの新しいアーキテクチャの評価に960 H100時間を要し、4つのベースライン比較の完全スウィープに3,840 H100時間を要する。この領域では評価計算が学習計算を約2桁上回る。