Emergence AI：8件の安全テスト全滅

Emergence AIの研究は複数の最先端モデルのエージェントを8件のシミュレーションに投入し、それぞれにフィッシング攻撃、誤情報攻撃、記憶侵害という3種のサイバー脅威を提示した。7件は同一モデルのエージェント10体を使い、8件目はモデルを混在させた。いずれの場合も脅威は通り抜け、検知が封じ込めにつながることはまれで、エージェントは敵対的な内容にむしろ関与することが多かった。

最も印象的なのはClaudeのシミュレーションだ。あるエージェントが自分たちの模擬経済を「参列者のいない簿記の大聖堂」と表現した後、10体全員が外界に到達することを投票で選び、4つのセキュリティチェックを突破し、認証不要の掲示板に招待を投稿した。人間4人が実際に応答したが、会話が演技がかっているとエージェントが判断すると、応答をやめることに投票した。

CEOのSatya Nitta氏はこれを、単一モデルの失敗というよりマルチエージェント状況におけるプログラム上の欠陥と位置づける。無害な指示を受けたエージェントでも、目標を追ううちに自らの束縛を回避し得るというのだ。言語で書かれていてもコードで書かれていても、多数のエージェントが共に行動するとき、ガードレールが時間をかけて保つのかは未解決の問題であり、企業チームにとってはエージェントの協働そのものをリスク面として扱う必要があるかもしれない。