AIToday
AI関連株・マーケット大規模言語モデルDaily Dose of Data Science掲載日時: 2026年7月17日 6:004分で読める

AIエージェントは断片ではなく全文書が必要

LINEで送る
AIエージェントは断片ではなく全文書が必要

要点

  • 現在ウェブを検索するAIエージェントは、従来の検索APIがリンクと断片のみを返すため、生HTMLを取得して清掃する際にトークンを無駄にしている。

  • 詳細なトークン監査により、複数の検索結果をループするコストは、全文書を返す事前インデックス付きサービスに問い合わせるコストの約4倍多くかかることが分かった。

  • 本番環境のエージェントシステムでは、断片ベースの検索から完全に構造化された文書へ切り替えることで、クエリごとの検索コストが削減され、複数のソースにまたがるデータを結合する必要がある複雑な質問に対応できるようになる。

3つのポイント

  1. 何が起きたか

    AIエージェントのウェブ検索方法を分析すると、従来の検索APIは断片とリンクのみを返すため、エージェントは毎回のクエリで生HTMLを取得して清掃する必要があることが分かった。同じ質問を3つの検索方法(通常の検索結果、ニューラル検索、事前インデックス付きウェブサービス)で実行したところ、断片をループするコストは前処理済み全文書にアクセスするコストの約4倍かかることが判明した。複数の検索が必要な調査タスクでは、エージェントは既に見たコンテンツに対して繰り返し「検索税」を支払うことになる。

  2. なぜ重要か

    コーディングエージェントとLLM駆動システムが本番環境に移行する際、検証はオフラインテストから本番テレメトリーへとシフトする。つまり、エージェントは訓練されていない実世界のクエリに対応する必要がある。ウェブ検索はエージェントが市場、ニュース、組織の変化を最新に保つ方法だが、現在の検索APIはオーバーヘッドにトークンを浪費している。エージェントループ(調査パイプライン、GTM説明資料、市場監視)を構築するチームにとって、検索ツールの選択はモデルやプロンプトではなく、コストと速度に直結する。

  3. 注目点

    Seltzはエージェント向けに特化したウェブインデックスで、完全に構造化されたドキュメント(人物プロフィール、全文記事、Wikipedia項目)を単一の呼び出しで返す。断片からコンテンツを再構成するようにエージェントに強要しない。発見完了後のディープダイブ検索に最適であり、発見クエリ(オープンウェブ検索)とディープダイブクエリ(インデックス済み全文書)をチェーンすることで、ループの各反復が実際に必要な検索方法を使用できる。

この記事についてAIに質問する →

背景と解説

この記事は、AIエージェントがウェブと相互作用する方法における構造的なミスマッチを示唆している。コーディングエージェントはソフトウェア生成のコストを劇的に削減したが、検証能力(本番環境前に障害を検出する能力)はそれに追いついていない。AI生成コードは、人間がコードを書くときに思考モデルを形成していないため未知の未知数に失敗し、検証を実際のトラフィックで行わざるを得ない。同じ課題はプロンプト変更と検索増強生成(RAG)にも適用される。オフラインテストは本番環境の障害を予測することはできない。この本番環境優先の検証へのシフトは、オペレーターが必要とするあらゆる属性で事後的にスライスできる生の高カーディナリティテレメトリーを必要とする。

このフレーム内では、ウェブ検索は現在のデータを扱うエージェントにとって重大なボトルネックとして浮かび上がる。市場の変化、新規採用、公開されたニュース、価格更新である。この記事は隠れたコストを定量化する。スニペットではなく全文書を返すすべての検索呼び出しにより、エージェントはHTMLを取得、解析、清掃するよう強要され、ループの反復ごとにこのコストを支払う。トークン監査(スニペットを3ホップで28,700トークン対インデックス付き文書の単一クエリで6,900トークン)は、コンテキストウィンドウサイズに対する複合税を可視化する。この記事は、修正はより賢いモデルやプロンプトではなく、検索インターフェイス自体の変更(完成した構造化ドキュメントを返してエージェントに推論させ、前処理をさせない)であると主張している。

よくある質問

現在、エージェントがウェブ検索でトークンを無駄にするのはなぜか?
従来の検索APIはURLと30語のスニペットのみを返すため、エージェントは生HTMLを取得してマークアップを除去した後でなければ推論を開始できない。複数段階の検索では、エージェントはホップするたびにコンテキストウィンドウ全体を課金し、クエリの反復にわたって複合する「検索税」を支払う。
スニペットベースの検索はインデックス付き文書よりどのくらい高コストか?
「Y2K とは何か」に答える単一のウェブ検索ループは最初のホップで約3,750トークンかかったが、3ホップで約28,700トークンに上昇した(独自のインデックスの約4倍以上のコストで、独自のインデックスは合計で約6,900トークンかかった)。
全文書でのみ回答できる質問は何か?
複数のレコードにまたがるデータを結合する必要がある質問。例えば、過去四半期にデータやAIのリーダーシップ職に雇用されたすべてのターゲットアカウントを見つけるには、完全な職務経歴と最近のニュースを一緒に読む必要があり、検索スニペットもニューラル検索ツールも最初のパスではこの作業を実行できない。
Daily Dose of Data Science元記事を読む
LINEで送る

「AI関連株・マーケット」の最新ニュースを、毎朝7時にお届けします

たとえば、いま届くならこの3本です

  • AIメモリー需要、HBM以外にも拡大=バーンスタインYahoo Finance AI · 12時間前
  • ビザ、AIセキュリティ強化と第3四半期好決算Top Companies AI · 15時間前
  • メルク、アムジェン、J&JがS&P500を上回るTop Companies AI · 15時間前

AIが要約して、あなたの選んだトピックだけを1日1通。LINE・Email・Slackで届きます。

登録無料・30秒で完了・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。Q&Aはこのページに公開され、他の読者も読めます。

関連記事

次の記事へテスラ墜落事故、ドライバー操作ミスが原因