AIToday
Hacker News掲載日時: 2026年7月26日 13:01

Cloudflareがサイト所有者にAIボット選別を許可

LINEで送る
Cloudflareがサイト所有者にAIボット選別を許可

3つのポイント

  1. 何が起きたか

    Cloudflareは、ウェブサイト所有者がAIトラフィックを3つのユースケース(検索結果のインデックス化のためのSearch、ChatGPT取得のようなリアルタイムタスクのためのAgent、モデル微調整のためのTraining)で管理できる新しいコントロールを開始した。従来の「AIボットをブロック」オプションが廃止される。2026年9月15日から、新規ドメインは広告を表示するページ上ではTrainingとAgentボットをデフォルトでブロックし、Searchを許可する。同社はまた、既知のすべてのボットとその分類およびコンテンツ利用行動を検索可能なデータベースを提供するエンタープライズ機能「BotBase」を導入した。

  2. なぜ重要か

    サイト所有者は長年、検索可視性とAI学習からのコンテンツ保護の間で選択を迫られてきた。これは大規模既存企業に利益をもたらす不公正なトレードオフである。Cloudflareの分類体系により、小規模サイトは有益な検索トラフィックを許可しながら、報酬なしにモデルを訓練またはコンテンツをスクレイピングするボットをブロックまたは制限できる。「コンテンツ利用」レベル(即座、参照、完全)は、所有者にコンテンツがどのように再利用されるかを細かく制御させ、元の「すべてのAIをブロック」アプローチが粗すぎたという1年間のフィードバックに対応している。

  3. 注目点

    2026年9月15日のデフォルト変更は、Google、Apple、Bingのボットのような多目的クローラーに影響を与える。所有者が制限を選択した場合、Cloudflareが最も制限的なルールを適用するため、クローラーが複数の目的を果たすときはTrainingでブロックされる。サイト所有者はその日付前にいつでもセキュリティ設定を通じて新しいデフォルトをオプトアウトできる。2026年後半、BotBaseは可視化から直接制御に拡張され、エンタープライズ顧客が特定のボットをリアルタイムで強制できるようになる。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

Cloudflareの更新は、ウェブコミュニティがAIボットトラフィックをどのように見るかについての根本的な転換を反映している。1年前、同社は創作者に報酬を払わずにコンテンツをスクレイピングするAIシステムに対する実存的な脅威と呼ぶものに対応して、厳格なバイナリの選択肢「AIボットをブロック」を開始した。しかし1年間の顧客フィードバックはこのアプローチの欠陥を明らかにした:それは小規模ウェブサイトに最も害をもたらし、検索エンジンを通じた発見可能性とAI訓練からの保護の間で選択を迫った。これは検索とAIインフラストラクチャの両方を制御する大規模既存企業を定着させるファウスト的な取引である。新しい3カテゴリ分類法(Search、Agent、Training)と「コンテンツ利用」フレームワークは、すべてのAI自動化が略奪的なわけではないことを認識している。リアルタイムエージェント動作と検索インデックスはサイト所有者に価値をもたらす可能性があり、同時に所有者にコンテンツが報酬なしに専有モデルに完全に吸収されるのを防ぐツールを与えている。Searchを許可デフォルトとして設定し、広告サポートページ上でTraining/Agentをブロックデフォルトとして設定することにより、Cloudflareはほとんどのサイト所有者が訓練ボットからのリスクよりも検索可視性から利益を得ると賭けている。2026年9月15日の日付は、Google、Apple、Bingのボットのような大規模多目的クローラーに影響を与えるため注目に値する。これらは検索と訓練の両方のためにクローリングするボットであり、これらの運営者にクローラーを分離するか(Cloudflareが推奨するように)、制限的なデフォルトを選択したサイト上のブロッキングを受け入れることを強制する。

よくある質問
新しいデフォルトはいつから有効になりますか
2026年9月15日に、Cloudflareはすべての新規ドメインに新しいデフォルトを設定する。広告を表示するページ上ではTrainingとAgentボットがデフォルトでブロックされ、Searchは許可されたままになる。既存の顧客は、その日付前にいつでもセキュリティ設定を通じてこれらの変更をオプトアウトできる。
Cloudflareが区別している3つのAIユースケースは何ですか
Search(検索結果のためのコンテンツをインデックス化するためのクローリング)、Agent(ChatGPTやClaudeブラウザフェッチのようなユーザーに代わって自動化されたリアルタイムアクション)、Training(モデルを訓練または微調整するためのクローリング)。ウェブサイト所有者は各カテゴリを個別に管理できる。
「コンテンツ利用」設定は何をしますか
サイト所有者がボットがコンテンツを再利用する3つのレベルを指定できる:即座(対話するが保存しない)、参照(インデックス化、抜粋、および逆リンク)、完全(要約と再現)。所有者はこれらをボット分類と組み合わせて、「Searchボットのみ参照レベルまで許可する」というようなルールを表現できる。
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

次の記事へAlphabet、AI基盤構想で購買契約8110億ドル超に