AIToday

Shadow Web、Webページのトークン削減率64~97%を実現

Hacker News4時間前7分で読める
Shadow Web、Webページのトークン削減率64~97%を実現

要点

Shadow Webはオープンソースのツールで、LLMエージェントがWebページを処理する際のトークン削減を実現します。Shadow DOMを展開し不要な要素を削除することで、WikipediaページでもGitHub Trendingでも70~80%のトークン削減に成功しています。テーブルやフォーム、リストを自動で構造化JSON形式に変換でき、AIエージェントの精度向上とコスト削減が期待できます。

こういう要約が、毎朝あなたのメールに届きます。

無料で登録 →

3つのポイント

  • 何が起きたか

    Shadow Webというオープンソースのツールが公開されました。LLMエージェント(自分で判断して作業するAI)がWebページを処理する際、Shadow DOM(Webページの隠れた領域)を展開し、不要なコード要素を削除することで、トークン数(AIが処理する文字単位)を大幅に削減します。Wikipedia のページでは99,343トークンから16,462トークンへ(−83%)、GitHub Trendingでは167,875トークンから37,833トークンへ(−77%)削減できます。

  • なぜ重要か

    LLMの利用コストはトークン数に比例するため、不要な部分を削除できれば、企業のAI活用コストを削減できます。特にWebスクレイピングやAIエージェントが頻繁にWebページを読み込むビジネスユースにおいて、このトークン削減は〜の可能性があります。また、テーブルやフォーム、リストを自動で構造化されたJSON形式に変換できるため、LLMエージェントがデータを正確に理解しやすくなります。

  • 注目点

    pip install shadow-webでインストール可能で、クラウド不要でローカル処理できます。Cursor/Claude向けのMCPサーバー機能も含まれており、一行コマンドで初期設定が完了します。22個のツールが組み込まれており、Playwrightスクレーパーの互換性も保たれています。

背景と解説

LLMエージェントがWebページを読み込む際、生のHTMLにはスクリプト、スタイル、Shadow DOMの複雑な構造など、AIにとって不要な要素が多く含まれています。Shadow Webはこの不要な情報を取り除き、インタラクティブ要素(ボタンやフォーム)とそのラベル、および必要な DOM骨組みだけを残すことで、トークン数を大幅削減します。同時にSchemaSnap機能により、テーブルやフォーム、リストを機械可読なJSON・CSV形式に自動変換するため、LLMエージェントが取得したデータを直接活用できるようになります。

このツールはPlaywrightスクレーパー、Cursor/Claude向けのMCP統合、Web Components・Lit・Angular等のフレームワークによるShadow DOM処理など、複数のユースケースに対応しており、React/Vue等のリスナーを損なわない読み取り専用設計となっています。開発者はローカルでクラウド不要に処理できるため、プライバシーとコストの両面で利点があります。

よくある質問

Shadow Webはどうやって使いますか?
pip install shadow-webでインストールしたあと、process_html()関数でWebページのHTMLを処理します。また、Cursor/Claude向けのMCPサーバーを使う場合はbash scripts/cursor-setup.shで初期設定が完了します。
トークン削減の具体的な効果はどの程度ですか?
Wikipediaのページで99,343トークンから16,462トークン(−83%)、GitHub Trendingで167,875トークンから37,833トークン(−77%)に削減できます。Hacker Newsでも−22%の削減が確認されています。
オンラインサービスが必要ですか?
いいえ、クラウドは不要です。ローカルで処理でき、Playwright統合やself-healing selectors機能、SchemaSnapによるテーブル・フォーム解析もすべてオフラインで動作します。

ディスカッション

まだコメントがありません。最初のコメントを投稿しましょう!

ログインして議論に参加

関連記事

AIニュースを毎日お届け

200以上のソースから厳選したAIニュースを毎日無料でお届けします。

無料で始める

登録無料・30秒で完了・いつでも解除できます

毎朝1分、AIの要点だけ。

200媒体以上・Email/LINE/Slack 対応

無料で受け取る →