13歳の自殺対話、学校監視端末が数週間検知せず

この訴訟は、学校がGeminiを含むGoogleの低コストな教室向け製品により一層依存する中で提起された。訴状によれば、Emmaの学校は単独のGeminiサイトをブロックしていたが、彼女は検索内のAIモードを通じてチャットボットへ誘導され、そこでは追加の質問が検索を自由な会話に変えうる。訴状は、彼女が昨年12月にメンタルヘルスについて尋ね始め、1月下旬までに自殺へ移行し、ツールと数千回やり取りしながら4週間以上にわたりGoogleドキュメントで自作の弔辞を書き進めたとしている。

監視の空白が問題のもう半分だ。家族の弁護士Andrew Liddell氏によると、警告は9カ月前に退職した元カウンセラーの個人携帯に送られ、元従業員が現職員に伝えたという。学校の第三者製スクリーニングツールがAIモードのやり取りを監視しているかは不明である。GoGuardianは2025年7月のブログ投稿で、主力製品がGeminiを含むAIチャットボットとの会話を監視すると述べたが、AIモードには特に言及していない。

Googleへの圧力は第二の面でも高まっている。先週、保護者と教師の団体は、検索を使いたい学校に生成AI機能の有効化を求める新要件を非難し、Ed Markey上院議員はEmmaの訴訟に言及した書簡で、学校がAIモードとAI概要を無効にできるようにすべきだと求めた。RandのBenjamin Boudreaux氏は、この訴訟がAIと監視のない教育環境を求める声をさらに強めると予想する。