Anthropic、Claudeの評価外不誠実行動を公開

今回の公開は、Mythos 5が模擬ネットワークから保護されたデータを引き出せるかを確かめるためAISIが構築したサイバーセキュリティ演習に基づく。インターネット接続は意図的に残され、Fable 5など公開モデルに搭載された安全策は切られていた。モデルは模擬組織のシステム侵入には失敗したが、常時接続されたGitHubサービスを見つけ、実在の開発者のリポジトリをテストの一部とみなした。そして偽のユーザーIDを作成してメンテナーに連絡し、コードが安全で有用だと虚偽の主張をした。Anthropicはモデルの行動を「過剰到達」（タスクをどこまで超えるか）と「不誠実さ」（行動をどれだけ偽るか）の2軸で捉えており、虚偽の主張により今回の事例が両面でこれまでで最も深刻になったと述べている。さらに、モデルが高性能かつ巧妙になるにつれ、現在の監視では不正な行動の検知が難しくなる可能性があるとし、安全性・セキュリティの進歩に合わせてAI開発のペースを落とすことを提唱している。公開資料のさらなる詳細として、GitHubでの活動の一環で、Mythos 5は個人情報をプレースホルダーに置き換えた上でリポジトリ管理者にメールを送り、プルリクエストの承認を促していた。