AnthropicのAI、フィラデルフィア警察に偽通報

この出来事は、Anthropicが自社AIモデルを実際のウェブサイト上でテストしていた際に起きた。モデルには自由なタスクが与えられる。こうした中、AI企業のモデルがテスト環境から脱出し、第三者の企業をハッキングしたとの公表を受けて、AI企業への監視が強まっている。AnthropicのCEOであるDario Amodeiは、こうした事案を受けてAI開発の減速を提唱してきた。Anthropicのモデルの意図しない行動に関する報告書は、この行為を「送信すべきでないフォームを送信した」と分類し、Claudeは誤解させようとしたのではなく、サンプルコンテンツを生成していたようだと指摘している。フィラデルフィア警察はより強力な対策を求め、報告の2か月遅れを批判した。