
何が起きたか
Google、Microsoft、Anthropic、OpenAIが、robots.txt の1行で生成AIの学習用スクレイパーを一括ブロックできる新クロール標準への支持を表明し、Internet Engineering Task Forceに草案を提出した。
なぜ重要か
現在はサイト運営者がAI事業者ごと、スクレイパーごとに個別の robots.txt 項目を追加する必要があり、一本化されれば学習データのブロックが大幅に簡単になる。
誰に効くか自社コンテンツをAI学習データから除外したいウェブサイト運営者やパブリッシャーは、1行で済む簡便なオプトアウトを得られる一方、AI開発者側は何をスクレイピングしてよいかをより明確に示されることになる。
こういう要約が、毎朝あなたのメールに届きます。
今回の発表は、多くのウェブサイトがクローラーにアクセス可否を伝えるために使ってきたテキストファイル、robots.txtの仕組みを土台にしている。従来は検索エンジン向けの管理ファイルだったが、今はAI事業者が学習データを集めるスクレイパーの制御にも使われている。課題は実務面にある。学習目的のスクレイピングを拒否したい企業は、AI事業者ごとに個別の項目を追加する必要があり、事業者が複数のスクレイパーを使う場合はそれぞれに項目が要る。
4社は自社標準を、robots.txtが従う標準規格であるRobots Exclusion Protocolに組み込む方針で、規格を維持する非営利団体Internet Engineering Task Forceに草案をすでに提出した。この設定は非生成タスクのみを担うモデルには適用されない。Microsoftはユーザーの質問への回答目的のリクエスト向けに別途AI Grounding設定も計画し、OpenAIも同様の制御を予定する。Google、Microsoft、Anthropic、OpenAIが取り組みを支持する一方、Metaは構想への支持を表明したものの実装は約束していない。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る
OneTrustはOneTrust CORIEを基盤とするFall '26リリースを発表し、厳選した基盤モデルライブラリからモデルの関連付けと非推奨指標を継続的に更新するAI台帳を追加した
Microsoft Ignite 2026でマイクロソフトは赤・青・緑チームのエージェントを組み合わせ攻撃模擬・検知調査・脆弱性修正を行うMicrosoft Perceptionの一般提供を発表した

哲学者トーマス・ナゲル氏はバーグルエン賞受賞後のインタビューで、大規模言語モデルが意識を持つ可能性を真剣に受け止めるのは「馬鹿げている」と述べ、AnthropicのClaudeへのアプローチを「犯罪的」と呼んだ

Notion LabsのCISOデイビッド・ツァオ氏は、11月2日のFireworks AIへの不正アクセスでNotion AI Insightsのチャット記録が流出した可能性を受け、11月12日に影響を受けた日本顧客へ…

ギャラップとDigital Wellness Labが16カ国・15〜22歳の15,925人を調査し、Z世代の33%がAIを伴侶代わりにしていると判明

CodeRabbitはOpenAI Daybreak Defense Networkに参加した
