AIToday
AI安全性・アラインメントAI規制・政策SiliconANGLE AI掲載日時: 2026年10月31日 13:01

Googleら4社、AI学習拒否の新クロール標準を支持

LINEで送る
Googleら4社、AI学習拒否の新クロール標準を支持

3つのポイント

  1. 何が起きたか

    Google、Microsoft、Anthropic、OpenAIが、robots.txt の1行で生成AIの学習用スクレイパーを一括ブロックできる新クロール標準への支持を表明し、Internet Engineering Task Forceに草案を提出した。

  2. なぜ重要か

    現在はサイト運営者がAI事業者ごと、スクレイパーごとに個別の robots.txt 項目を追加する必要があり、一本化されれば学習データのブロックが大幅に簡単になる。

誰に効くか自社コンテンツをAI学習データから除外したいウェブサイト運営者やパブリッシャーは、1行で済む簡便なオプトアウトを得られる一方、AI開発者側は何をスクレイピングしてよいかをより明確に示されることになる。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

今回の発表は、多くのウェブサイトがクローラーにアクセス可否を伝えるために使ってきたテキストファイル、robots.txtの仕組みを土台にしている。従来は検索エンジン向けの管理ファイルだったが、今はAI事業者が学習データを集めるスクレイパーの制御にも使われている。課題は実務面にある。学習目的のスクレイピングを拒否したい企業は、AI事業者ごとに個別の項目を追加する必要があり、事業者が複数のスクレイパーを使う場合はそれぞれに項目が要る。

4社は自社標準を、robots.txtが従う標準規格であるRobots Exclusion Protocolに組み込む方針で、規格を維持する非営利団体Internet Engineering Task Forceに草案をすでに提出した。この設定は非生成タスクのみを担うモデルには適用されない。Microsoftはユーザーの質問への回答目的のリクエスト向けに別途AI Grounding設定も計画し、OpenAIも同様の制御を予定する。Google、Microsoft、Anthropic、OpenAIが取り組みを支持する一方、Metaは構想への支持を表明したものの実装は約束していない。

よくある質問
新標準でウェブサイト運営者は具体的に何が変わるのか?
現在、AI学習目的のスクレイピングを拒否するには、AI事業者ごと、スクレイパーごとに個別の robots.txt 項目が必要だ。提案された標準では、生成AIモデルの学習データを収集する全スクレイパーを1項目でブロックできるようになる。
MicrosoftのAI Grounding設定とは何か?
AIモデルが学習データ収集ではなく、ユーザーの質問に答えるためにウェブページへアクセスする場合のクロール設定だ。Microsoft技術を使う第三者製AIツールからのリクエストも含め、運営者がそうしたアクセスを防げるようになる。
各社はいつ標準に対応するのか?
OpenAIとMicrosoftは今後数カ月での対応を予定し、Googleは来年のどこかで続く。Metaは構想への支持を表明しているが、実装は約束していない。
SiliconANGLE AI元記事を読む
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

OneTrust、AI台帳を継続更新する秋リリース

OneTrustはOneTrust CORIEを基盤とするFall '26リリースを発表し、厳選した基盤モデルライブラリからモデルの関連付けと非推奨指標を継続的に更新するAI台帳を追加した

NEWSiliconANGLE AI4時間前

マイクロソフトがAIエージェントで攻撃対抗サービス提供開始

Microsoft Ignite 2026でマイクロソフトは赤・青・緑チームのエージェントを組み合わせ攻撃模擬・検知調査・脆弱性修正を行うMicrosoft Perceptionの一般提供を発表した

NEWPublickey4時間前

Thomas Nagel、AI意識説を「馬鹿げている」と一蹴

哲学者トーマス・ナゲル氏はバーグルエン賞受賞後のインタビューで、大規模言語モデルが意識を持つ可能性を真剣に受け止めるのは「馬鹿げている」と述べ、AnthropicのClaudeへのアプローチを「犯罪的」と呼んだ

NEWWIRED AI4時間前

NotionのAIチャット流出おそれ、幹部が日本での対応状況明かす

Notion LabsのCISOデイビッド・ツァオ氏は、11月2日のFireworks AIへの不正アクセスでNotion AI Insightsのチャット記録が流出した可能性を受け、11月12日に影響を受けた日本顧客へ…

ITmedia AI+10時間前

Z世代の33%がAIを伴侶代わりに、毎日利用層では50%

ギャラップとDigital Wellness Labが16カ国・15〜22歳の15,925人を調査し、Z世代の33%がAIを伴侶代わりにしていると判明

WIRED AI10時間前

CodeRabbit、GPT-6 Cyberをセキュリティ製品に統合

CodeRabbitはOpenAI Daybreak Defense Networkに参加した

PR TIMES (AI)13時間前
次の記事へネオクラウド巡りマスク氏とフアン氏が応酬