AIToday
AI安全性・アラインメントThe Verge AI掲載日時: 2026年11月17日 6:00

OpenAI、児童虐待画像の検知ツール 通報の負担軽減へ

LINEで送る
OpenAI、児童虐待画像の検知ツール 通報の負担軽減へ

3つのポイント

  1. 何が起きたか

    ワシントンDCでの月曜の説明会で、OpenAIはAI生成物を含む児童の虐待画像をより正確に検知する分類器を発表した。画像の検知数は従来比48%減となる。

  2. なぜ重要か

    OpenAIによると、分類器が検知した画像に虐待素材が含まれる確率は2倍になった。捜査当局がノイズを排除し、迅速に対応できる有害素材の発見につながるという。

  3. 注目点

    ChatGPTでCSAMの生成を試みたユーザーには警告が出され、初回の違反で24時間のアクセス停止措置が取られる。

誰に効くか児童安全の調査担当者や法執行機関が虐待の通報を選別する際、誤検知の減少が利点となる。一方、虐待画像の生成を試みたChatGPTユーザーには新たな警告と24時間のアクセス停止が科される。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

この発表は、AIが生成した児童の性的画像が全米行方不明・被搾取児童センター(NCMEC)のCyberTiplineを圧迫しかねない状況で行われた。同窓口への生成AI関連の通報は2024年の67,000件から2025年には400,000件に増えた。研究者らはこの流入でNCMECの業務が「処理不能」になりかねないと警告しており、ノースカロライナ州司法長官のJeff Jackson氏はOpenAIのイベントで急増を「爆発的」と表現し、このまま続けば「任務の遂行に失敗することになる」と警告した。

政策面も動いている。Take It Down Actは現在、ソーシャルメディア各社に対し、本人の同意のない本物またはAI生成の性的画像を48時間以内に削除するよう義務付けている。先月には8つの州が、児童への別の一連の害をめぐってOpenAIを提訴した。OpenAIで児童安全の公共政策を統括するJohn Buckley氏は、新分類器がAI生成素材を識別する専用フラグを備えたCSAM分類器として初めて広く利用可能になるものだと述べ、AI生成のCSAMがもたらす害を法律が認めるべきだと主張した。同氏によれば、こうした素材は「社会規範を侵食する可能性があり」、「実際の児童の性的虐待画像と並んで見つかることが多い」という。Jackson氏はこの提携を「依然として基本的に実験段階だ」と評し、司法長官の業務の大半は予防ではなく事後的な責任追及だと指摘した。

よくある質問
OpenAIの新しい分類器は誰が使えるのか?
OpenAIは審査済みの団体に無料で提供しているほか、この種のコンテンツの検知に関する指針を開発者向けに拡充している。
ChatGPTのユーザーがCSAMの生成を試みるとどうなるか?
初回の違反でChatGPTへの24時間のアクセス停止となり、アカウントが永久に閉鎖される可能性がある旨の警告が表示され、ユーザーには支援リソースが案内される。
この分類器は従来のツールとどう違うのか?
OpenAIによると、AI生成素材を識別する専用フラグを備えたCSAM分類器が広く利用可能になるのは初めてで、オープンソースモデルやヌード化アプリなど多様なツールが生成した画像を検知できるよう設計されている。
The Verge AI元記事を読む
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

次の記事へカリフォルニア州司法長官がOpenAIを提訴