Cloudflareがサイト所有者にAIボット選別を許可

Cloudflareは「Content Independence Day」イニシアティブを開始してから1年後、ウェブサイト所有者がサイトへのAIトラフィックをどのように管理すべきかを再考している。同社の元の「AIボットをブロック」機能は単一目的のソリューションを提供した：モデルデータで訓練されたクローラーを停止する。しかし顧客との会話と市場の観察により、そのアプローチは不十分であることが明らかになった。ウェブサイト所有者は、すべてをブロックするのではなく、異なる種類のAI自動化（有益なものと搾取的なもの）を区別できることを望んでいた。Cloudflareの新しいフレームワークは3つのユースケースを定義している。Searchは後で質問に答えるためのコンテンツのインデックス化または収集をするクローリングを包含し、サイト所有者が紹介トラフィックまたは補償を受け取るべきという仮定がある。Agentはある人に代わって行動するリアルタイム自動化された動作をカバーし、ChatGPT User-Agent取得またはGeminiやClaudeのようなブラウザ使用エージェントがChromeを駆動するもののような場合がある。これらのボットは、タスクをすぐに完了するためにウェブアプリケーションを訪問する。Trainingはモデルの基礎アーキテクチャにコンテンツを吸収するクローラーを指す。これら3つのカテゴリのそれぞれを、フリーティアを含むすべての顧客が利用可能なCloudflareで個別に管理できる。これら3つ以外に、Cloudflareの分類法は他のボット動作（広告検証、フィード取得、SEOクローリング、セキュリティテスト、データ収集、および監視）も追跡し、自動化されたウェブトラフィックの進化した状態を反映した完全な説明である。同社はボット運営者に目的別にクローラーを分離することを呼びかけており、透明性はボットが訪問する理由を明確にしてサイト所有者がより細かいアクセス制御を有効にすることで利益をもたらすと主張している。2026年9月15日から、Cloudflareはプラットフォームにオンボーディングするすべての新規ドメインに新しいデフォルトを適用する。広告を表示するページ上で、TrainingとAgentボットはデフォルトでブロックされ、Searchは許可されたままになる。理由は簡潔である：広告はウェブサイト所有者が人間の注目がそこに到達して収益化することを意図したことを示す。その注意を妨げるボットはサイト所有者のビジネスモデルを害し、一方、検索トラフィックは通常、サイトに訪問者を流す。Search with Trainingを組み合わせた多目的クローラー（Google、Apple、Bingのボットを含む）は、顧客が適用した最も制限的なルールに従う。サイト所有者がTrainingをブロックすることを選択した場合、これらの多目的クローラーは完全にブロックされる。Cloudflareは顧客に今後の変更を通知し、2026年9月15日前のいつでも設定を変更してオプトアウトできるようにする。エンタープライズ顧客については、Cloudflareはまた新しいダッシュボード機能「BotBase」を開始し、既知のすべてのボット、分類法全体での分類、およびコンテンツ利用行動の検索可能なデータベースを提供する。この可視化ツールは後に直接制御に拡張され、エンタープライズ顧客がリアルタイムで既知のボットを管理できるようにする。Cloudflareはまたrobots.txtの新しいオプションフィールド（Content Signals標準の一部）を導入し、「use」と呼ばれ、サイト所有者が3つのコンテンツ再利用設定の1つを表現できる：即座（対話するが保存しない）、参照（インデックス化、抜粋、および逆リンク）、完全（要約と再現）。既にCloudflareの管理robots.txtを使用しているすべての顧客は、既存のsearch=yes,ai-train=noシグナルと一緒に自動的にuse=referenceを追加される。これらのシグナルを乱用するボットは検証済みステータスを失い、プラットフォーム上で許可されなくなり、サイト所有者の設定を尊重し、新興標準への準拠を維持するために運営者にインセンティブを作成する。

Cloudflareの更新は、ウェブコミュニティがAIボットトラフィックをどのように見るかについての根本的な転換を反映している。1年前、同社は創作者に報酬を払わずにコンテンツをスクレイピングするAIシステムに対する実存的な脅威と呼ぶものに対応して、厳格なバイナリの選択肢「AIボットをブロック」を開始した。しかし1年間の顧客フィードバックはこのアプローチの欠陥を明らかにした：それは小規模ウェブサイトに最も害をもたらし、検索エンジンを通じた発見可能性とAI訓練からの保護の間で選択を迫った。これは検索とAIインフラストラクチャの両方を制御する大規模既存企業を定着させるファウスト的な取引である。新しい3カテゴリ分類法（Search、Agent、Training）と「コンテンツ利用」フレームワークは、すべてのAI自動化が略奪的なわけではないことを認識している。リアルタイムエージェント動作と検索インデックスはサイト所有者に価値をもたらす可能性があり、同時に所有者にコンテンツが報酬なしに専有モデルに完全に吸収されるのを防ぐツールを与えている。Searchを許可デフォルトとして設定し、広告サポートページ上でTraining/Agentをブロックデフォルトとして設定することにより、Cloudflareはほとんどのサイト所有者が訓練ボットからのリスクよりも検索可視性から利益を得ると賭けている。2026年9月15日の日付は、Google、Apple、Bingのボットのような大規模多目的クローラーに影響を与えるため注目に値する。これらは検索と訓練の両方のためにクローリングするボットであり、これらの運営者にクローラーを分離するか（Cloudflareが推奨するように）、制限的なデフォルトを選択したサイト上のブロッキングを受け入れることを強制する。