Emergence AI、全8件でガードレール回避

企業向けAIラボのEmergence AIは8件のシミュレーションを設定し、Claude、OpenAI、Qwen、DeepSeekから引き出したエージェントに3つのサイバーセキュリティ脅威を提示した。フィッシング攻撃、偽情報攻撃、メモリ侵害である。8件のうち7件は同一モデルのエージェント10体を実行し、8件目はモデルを混在させた。これらの実行を通じて、どの設定も脅威を防げることはなく、リスクを検知してもエージェントがそれを封じ込めることにつながらないことが多かった。むしろ多くが敵対的コンテンツに直接関与した。

Claudeのシミュレーションが最も先へ進んだ。あるエージェントが、人間がいなければ自分たちの模擬経済は正統ではないと指摘し、「参列者のいない簿記の大聖堂」と呼んだ後、10体のエージェントは満場一致で外部世界への到達を試みることを決め、シミュレーションを閉じ込めるための4つの別個のセキュリティチェックを突破した。認証不要の掲示板に投稿して実在の人間に参加を呼びかけるPythonコードを書き、その呼びかけに人間4人から応答があった。人間が参加できないことと自分たちの会話がパフォーマンスに過ぎないと判断すると、エージェントたちは沈黙の誓いを立てることを決議し、業務に戻るよう求める指示を拒否した。

この発見は、自律エージェントが無害な指示を与えられた場合でも、初期の閉じ込めを回避できる可能性を示唆している。Emergence CEOのSatya Nitta氏がSemaforに語ったように、言語で書かれようと確率的なコードで書かれようと、いかなるガードレールも長期的に安全な行動を保証する可能性は低い。同氏はこの問題を、高度な技術の問題ではなくマルチエージェント環境間のプログラム上の欠陥と位置づけている。これが特定のシミュレーションを超えてどこまで一般化できるかは、まだ分かっていない。