AIToday
TechCrunch AI掲載日時: 2026年7月8日 6:00

Discord、AI誤判定で8000人超をbanか 画像判定の不具合認める

LINEで送る
Discord、AI誤判定で8000人超をbanか 画像判定の不具合認める

3つのポイント

  1. 何が起きたか

    Discord のAI検査システムがここ2ヶ月間、スプレッドシートやチェスボード、ゲームテクスチャ、白やグレーの透明背景など無害な画像を有害コンテンツと誤判定し、8000人超のユーザーを不当にbanした。5月から問題が発生しており、先週末にもさらに200人がbanされた後に修正された。

  2. なぜ重要か

    AIモデレーション システムは既知の有害コンテンツとのパターンマッチングで機能するが、偽陽性(false positive)が生じる仕組みになっていた。人間による確認が想定されていたにもかかわらず、バグによりアカウントが即座にban されてしまった。ユーザーは不当な永久停止によって、仕事や ゲームコミュニティ、遠距離の人間関係など深刻な影響を受けた可能性がある。

  3. 注目点

    Discord は「今後このようなことが起きないよう、より良いセーフガードに取り組んでいる」と述べており、影響を受けたアカウントはすべて復旧の途上にある。Instagram・Facebook Groups、Tumblr でも同様のAIモデレーション誤判定が報告されているため、プラットフォーム共通の課題として認識されている。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

Discord が自動化されたモデレーションシステムにおける誤判定の具体例を認めたことは、大規模プラットフォームにおける AI 運用の実態を浮き彫りにした。同社の説明では、シストムは既知の有害コンテンツと照合してフラグを立て、人間の Trust & Safety チームが必ず確認した上で処置するという設計だったが、バグにより自動即座ban が実行されてしまった。

この問題は Discord 単独ではない。Instagram・Facebook Groups でも昨年、AI モデレーションが原因とみられる大量の不当な停止報告があり、Tumblr でも同様の訴えがあった。Meta の Oversight Board が透明性強化を要求しているなど、業界全体でコンプライアンスと設計の課題として認識されつつある。利用者にとっては、仕事やコミュニティ維持に依存するプラットフォームからの突然の永久停止が極めて深刻な影響を与える一方で、プラットフォーム側も偽陽性と真の違反を区別する難しさに直面している。

よくある質問
どんな画像が誤判定されたのですか?
スプレッドシート、チェスボード、ゲームテクスチャ、白やグレーの透明背景など、複数のユーザーがグリッドパターンを含む画像がban の原因だと報告している。利用者の推測では、Discord のAI は過去に NSFW や児童虐待コンテンツを隠蔽するために悪用されたグリッド状のパターンに過剰に敏感になった可能性がある。
復旧のプロセスはどうなっていますか?
影響を受けたアカウントはすべて現在、復旧の途上にある。8000人超に加え、問題が特定される直前の週末にもさらに200人がbanされていた。
TechCrunch AI元記事を読む
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

次の記事へClaude Fable 5、サブスク提供を5日延長 7月12日まで