ライブウェブ調査でAIが人間を上回る39.0%

OpenDS-Worldを手がけたチームはHKUST(GZ)、復旦大学、スタンフォード大学、Microsoft Researchにまたがる25人の共同研究だ。ベンチマークは文化、日常生活、科学、経済、歴史、自然、社会、技術の8領域にわたる200タスクをカバーする。12の最先端モデルと人間の参加者はすべて共通のツールと同じ検索予算を用いたため、比較条件は一定に保たれている。

ベンチマークはモデル間で調査戦略に大きなばらつきがあることを明らかにした。このばらつきと、ツール連携および長期的な検索管理という根強い失敗モードを合わせて考えると、首位の39.0%と人間の1試行あたり21.1%の差がすべてではないことがうかがえる。残る誤りは生の知識よりも、エージェントが多段階の検索をどう管理するかに集中している。タスクはライブウェブ上で実行されるため、ウェブ自体の変化に伴って結果が変わり得る。これはスナップショット型ベンチマークにはない性質だ。