
Shadow Webはオープンソースのツールで、LLMエージェントがWebページを処理する際のトークン削減を実現します。Shadow DOMを展開し不要な要素を削除することで、WikipediaページでもGitHub Trendingでも70~80%のトークン削減に成功しています。テーブルやフォーム、リストを自動で構造化JSON形式に変換でき、AIエージェントの精度向上とコスト削減が期待できます。
こういう要約が、毎朝あなたのメールに届きます。
無料で登録 →何が起きたか
Shadow Webというオープンソースのツールが公開されました。LLMエージェント(自分で判断して作業するAI)がWebページを処理する際、Shadow DOM(Webページの隠れた領域)を展開し、不要なコード要素を削除することで、トークン数(AIが処理する文字単位)を大幅に削減します。Wikipedia のページでは99,343トークンから16,462トークンへ(−83%)、GitHub Trendingでは167,875トークンから37,833トークンへ(−77%)削減できます。
なぜ重要か
LLMの利用コストはトークン数に比例するため、不要な部分を削除できれば、企業のAI活用コストを削減できます。特にWebスクレイピングやAIエージェントが頻繁にWebページを読み込むビジネスユースにおいて、このトークン削減は〜の可能性があります。また、テーブルやフォーム、リストを自動で構造化されたJSON形式に変換できるため、LLMエージェントがデータを正確に理解しやすくなります。
注目点
pip install shadow-webでインストール可能で、クラウド不要でローカル処理できます。Cursor/Claude向けのMCPサーバー機能も含まれており、一行コマンドで初期設定が完了します。22個のツールが組み込まれており、Playwrightスクレーパーの互換性も保たれています。
LLMエージェントがWebページを読み込む際、生のHTMLにはスクリプト、スタイル、Shadow DOMの複雑な構造など、AIにとって不要な要素が多く含まれています。Shadow Webはこの不要な情報を取り除き、インタラクティブ要素(ボタンやフォーム)とそのラベル、および必要な DOM骨組みだけを残すことで、トークン数を大幅削減します。同時にSchemaSnap機能により、テーブルやフォーム、リストを機械可読なJSON・CSV形式に自動変換するため、LLMエージェントが取得したデータを直接活用できるようになります。
このツールはPlaywrightスクレーパー、Cursor/Claude向けのMCP統合、Web Components・Lit・Angular等のフレームワークによるShadow DOM処理など、複数のユースケースに対応しており、React/Vue等のリスナーを損なわない読み取り専用設計となっています。開発者はローカルでクラウド不要に処理できるため、プライバシーとコストの両面で利点があります。
まだコメントがありません。最初のコメントを投稿しましょう!
ログインして議論に参加200以上のソースから厳選したAIニュースを毎日無料でお届けします。
無料で始める登録無料・30秒で完了・いつでも解除できます
毎朝1分、AIの要点だけ。
200媒体以上・Email/LINE/Slack 対応