CloudflareがAI学習拒否設定を追加

この発表が向き合う対立は構造的なものだ。検索エンジンとAI事業の両方を手がける企業は、一つのクローラーで検索とAI学習の両方を担うことが多い。サイト運営者にとって、AI学習からコンテンツを守ろうとそのクローラーを拒否すれば検索結果からも消えることになり、受け入れられる発行元はほとんどなかった。

Cloudflareはこの板挟みから抜け出す方法を作るため、クローラー運営者と直接交渉したと述べている。新設定はCloudflareを通じてサイトのrobots.txtに学習拒否のルールを書き込むため、協力するクローラーは検索のためにサイトを巡回し続けても、読み取った内容をAI学習には使わない。AppleとGoogleは既に賛同しており、Microsoftは2027年初頭まで待つ見通しだ。

鍵を握るのは、実際に何社のクローラー運営者がこのシグナルを尊重するかと、Microsoftが加わるまでの約2年の空白だ。当面、Bingからの流入に依存するサイト運営者にとってこのオプトアウトは部分的にしか効かない可能性があり、この設定の価値は提供の有無ではなく実際のクロール行動が変わるかどうかで判断されるだろう。