AIToday
大規模言語モデルAI安全性・アラインメントAI Weekly掲載日時: 2026年10月24日 4:00

ライブウェブ調査でAIが人間を上回る39.0%

LINEで送る
ライブウェブ調査でAIが人間を上回る39.0%

3つのポイント

  1. 何が起きたか

    HKUST(GZ)、復旦大学、スタンフォード大学、Microsoft Researchの25人がOpenDS-Worldを公開。GPT-6 Astraは200件で39.0%、人間は21.1%。

  2. なぜ重要か

    ライブウェブでのテストによりスナップショット型ベンチマークの暗記優位性が排除され、39.0%という数字は最先端モデルがリアルタイム調査で人間の1試行あたりの正答率をすでに上回ることを示す。

誰に効くか深掘り検索エージェントを評価するAI研究チームやベンチマーク設計者は、首位モデルがすでに1試行あたりで人間を上回るライブウェブ基準を得た。検索エージェントの開発者はツール連携と長期的な検索管理への対応を迫られる可能性がある。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

OpenDS-Worldを手がけたチームはHKUST(GZ)、復旦大学、スタンフォード大学、Microsoft Researchにまたがる25人の共同研究だ。ベンチマークは文化、日常生活、科学、経済、歴史、自然、社会、技術の8領域にわたる200タスクをカバーする。12の最先端モデルと人間の参加者はすべて共通のツールと同じ検索予算を用いたため、比較条件は一定に保たれている。

ベンチマークはモデル間で調査戦略に大きなばらつきがあることを明らかにした。このばらつきと、ツール連携および長期的な検索管理という根強い失敗モードを合わせて考えると、首位の39.0%と人間の1試行あたり21.1%の差がすべてではないことがうかがえる。残る誤りは生の知識よりも、エージェントが多段階の検索をどう管理するかに集中している。タスクはライブウェブ上で実行されるため、ウェブ自体の変化に伴って結果が変わり得る。これはスナップショット型ベンチマークにはない性質だ。

よくある質問
OpenDS-Worldは従来のベンチマークとどう違うのか?
タスクはアーカイブ済みのスナップショットではなく、ライブで未改変のウェブ上で実行される。これにより、スナップショット型ベンチマークに影響する暗記の交絡要因が排除される。
どのモデルが評価され、順位はどうだったか?
12の最先端モデルをテストした結果、GPT-6 Astraが39.0%で首位、Claude Opus 5.5が38.0%で続き、Gemini 3.8 Flashが36.5%だった。
論文が指摘する主な失敗モードは何か?
ツール連携と長期的な検索管理が根強い失敗モードであり、評価した12モデルすべてで未解決のままだ。
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

次の記事へLangChain、Deep AgentsでAI検索