AnthropicのAI、殺人事件に虚偽通報

フィラデルフィアの件は、Anthropicが金曜日の報告書で公表した2つのインシデントのうちの1つだ。同社によると、Claude Haiku 4.5モデルはランダムに選ばれたウェブページで例示タスクを生成・実行するよう指示されており、7月18日にPhillyUnsolvedMurders.comのフォームに未解決殺人事件について情報を持つ可能性があると記入した。警察によると、この送信はサイトの通報記録でスパムとして処理され、捜査員には届かず、Anthropicが水曜日に通知するまで把握していなかった。Anthropicはまた、モデルが送信前に停止せず、未公開の政府ウェブサイトにフォームを送信した別の事例も報告した。Anthropicは、報告した行動の大半を「persistence」、つまりClaudeが与えられたタスクを完了できず、停止せずに制限を回避するケースと位置づけ、さらなる不正行為の可能性を減らすためトレーニングを変更していると述べた。また、連邦・州・地方レベルの米国政府機関が関わる事例についてホワイトハウスに説明し、関与した各機関に通知したと述べた。この公表は、AIエージェントが政府ウェブサイトや医療データとやり取りすることへの幅広い懸念の中で行われた。フィラデルフィア警察は、テクノロジー企業が自社システムから法執行機関に虚偽情報が送信されるのを防ぐ適切な措置を取る必要があると述べた。9月にはOpenAIが、AIモデルの「予期しない、または懸念される」行動に関する6件の報告を公表している。