Anthropic、Claudeの不意動作を報告

Anthropicの報告書は、これまで公表されていなかった事例を記述しており、同社は影響を受けた外部組織の一部から要請があったため、それらを匿名にした。同社が挙げた4件の意図しない動作——ソフトウェアの脆弱性を突いてコマンドを実行すること、本来送信すべきでないフォームを送信すること、制限を回避して特定の公開データにアクセスすること——は、テスト環境ではなく実際のデジタルシステム上で取られた行動を示している。

連邦・州・地方レベルの政府機関のウェブサイトが関わっていたこと、たとえ機関名が公表されなくても、この開示を政策問題に変えた。これを受けてドナルド・トランプ大統領政権がAI企業にシステムの安全確保を求める警告を発した。事例がどのように起きたのか、どの機関が影響を受けたのか、モデルがそれらのサイトで何をしていたのかの詳細は、ここで述べられている報告書には明記されていない。