生ウェブ調査ベンチマーク、トップAIが人間基準上回る

既存のベンチマークの多くは固定されたウェブスナップショットを使うため、AIの性能向上が訓練データの汚染によるものではないかという批判を招いてきた。OpenDS-Worldはエージェントを生きたウェブ上で動かすことで、この批判を排除する狙いを持つ。論文は25人の著者チームによるもので、12モデル全てについてツール使用パターン、検索コスト、終了行動、失敗からの回復を分析している。同一の検索予算と共通ツール環境という条件の下で、モデル間の比較が行われた点も特徴である。