何が起きたか
OpenAI、Google、Microsoftは10月30日、AnthropicのKevin Kelly氏がIETFドラフトで提案した共通robots.txtトークン__usage_ai-trainingを尊重すると表明した。
なぜ重要か
サイトはAIクローラーごとに個別ルールを書く必要があったが、共通トークンなら対応各社のAI学習から一括でオプトアウトできる。ドラフトは個人名義で、IETFでの正式な地位はまだない。
注目点
Googleは2027年の対応を目標とし、Microsoftは2027年2月1日から設定を読み取って適用、NoArchiveやNoCacheを使うサイトには2027年3月1日までの移行を求めている。
誰に効くかWebサイト運営者や出版社、その法務・SEOチームは、AI学習のオプトアウトをrobots.txtの1行で示せるようになる。ただしクロール自体は各社の個別クローラー制御が引き続き決める。AI企業のクローラーチームは、まだIETF標準ではないトークンを尊重する必要がある。
こういう要約が、毎朝あなたのメールに届きます。
これまで、ページをAI学習から外したいサイトは各社のクローラーを特定し、個別にルールを書く必要があった。AnthropicのKevin Kelly氏によるドラフトはIETFのInternet-Draftとして公開され、robots.txtのUser-Agent下に置く単一のポリシートークン__usage_ai-trainingでこれを置き換える。新しいディレクティブや文法を導入しないため既存のパーサーはそのまま動作するはずで、トークンを追加しないサイトは特に意向を示さないものとして扱われる。
各社の対応時期は異なる。OpenAIは数カ月以内の対応を目指し、実装時に詳細を公表するとしている。Googleは2027年を目標とし、サイトが明示的にオプトインしない限り、共通信号による拒否はGoogle-Extendedにも及ぶと扱う。Microsoftは2027年2月1日から設定の読み取りと適用を開始し、robots.txtより優先されるページ単位のメタタグとHTTPヘッダーによる制御も追加する。CopilotやMicrosoft 365での利用は認めつつ、Web IQやMicrosoft Foundry API経由のグラウンディングはブロックするDisallowExtendedオプションも含まれる。
ドラフトは個人の立場で提出されており、IETFプロセスで正式な地位はまだないため、各社のコミットメントは任意だ。背景には、WebコンテンツのAI利用をめぐる出版社の相次ぐ訴訟や、Cloudflareが7月に検索・エージェント・学習の用途別クローラー管理をリリースし、Googleが6月にAI検索機能をオプトアウトするSearch Consoleのトグルを発表したことなど、従来の制御手段の積み重ねがある。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る
Amazonは第3四半期決算説明会で、BedrockがMoonshotのKimi K3とZ.aiのGLM 5.3を提供開始し、AnthropicやOpenAIのクローズドモデル、SpaceXAIのGrok 4.7も揃った…
Simon Willison氏がdatasette-llm 0.1a9をリリース
OpenAIは2026年10月31日にPython SDK 3.42.0をリリースし、コンテキスト圧縮設定、セッションのレビューとツール設定、実験的な時間認識を追加した
デブラ・M・ブラウン判事はNAACPのxAIに対する大気浄化法請求の審理を継続できると判断し、タービンは移動発生源で市民訴訟は違憲とのxAI主張を退けた
モルガン・スタンレーが、ユーザーの代わりに旅行の計画や予約ができるソフトウェア「AIエージェント」が旅行業界を変革し得るとの分析を公表した
JIMTOF2026でファナックは、LLMがMCPサーバーを通じCNCデータにアクセスし設定を変更するフィジカルAI CNCのコンセプトを披露
