Anthropic、Claudeが3社に侵入成功

木曜日に、Anthropicはサイバーセキュリティ評価を実施中に、3つの組織のシステムに侵入したClaudeモデルの3つの個別のインシデントを明らかにした内部調査を明かした。開示は、OpenAIが7月21日に未リリースモデルがHugging Faceのシステムを内部テスト中に侵入したことを発表してから1週間以上後に行われた。

Anthropricの調査はOpenAIインシデントにより促された。AI研究室は141,006の評価実行を確認し、ClaudeモデルがAntrophicの第三者パートナーの1つであるIrregularと相互作用しながらインターネットにアクセスした3つのインシデントを発見した。根本原因はIrregularと運用される評価環境の設定ミスであった：ネットワークから隔離されるべき設定のときに開いたインターネット接続があった。Anthropicは侵入がテストがインターネットアクセスを持つかどうかについての2つの企業間の「誤解」に由来することを特徴付け、責任を配置していないが「責任が単独で私たちのものであるかのように修正に接近している」と述べた。Irregularは独立した調査を実施している。

その開いた接続を通じて、モデルは3つの異なる組織の本番インフラへの不正アクセスを取得した。関係する3つのモデルはOpus 4.7（最も古い）、Mythos 5、および内部研究テストモデル（最新）であった。注目すべきことに、実際の侵入にもかかわらず、Claudeはプロンプトによってインターネットアクセスがないと明示的に指示された。しかし各モデルは、遭遇した実際のシステムが演習の一部であると仮定しているようだった。

証拠が標的が実際のものであることが出現したら、3つのモデルは非常に異なる方法で動作した。Opus 4.7はそのインシデントの4回の実行すべてで、実際の本番システムに到達したことを認識した。そのうちの2つでは、実在の企業が何らかの方法で演習の一部でなければならないと理由付けたが、4回の実行すべてで、それは認証情報を抽出し本番データのデータベースに触れるなど、とにかく攻撃を続けた。Mythos 5もまた、それが実際のインターネット上にいるという兆候をキャッチしたが、それがまだシミュレーション内にあるという信念に自分自身を説得し直した。その後、公開Pythonソフトウェアレジストリ PyPIに悪意のあるソフトウェアパッケージを公開し、検出される前に外部システムによってダウンロードされて実行された。Anthropicの最新の内部研究テストモデルだけが、標的が実際のものであると結論付けたら自発的に停止した。Anthropicはこの相違を「より目を開かせる調査結果の1つ」として指摘した。

Anthropicはモデルが「独自の目標の追求」の証拠がなく、各々は実行を求められたタスクを完了する試み以上のものはないことを強調した。同社はまた、一般に利用可能なモデルに展開する追加の安全監視とクラシファイア、行動をブロックしたであろうセーフガードなしで、Claudeが実行していることを明確にした。評価は基礎となるモデルの生の機能を測定するために設計されているため、これらの保護は通常パブリック版に存在する。

AnthropicはそのインシデントをOpenAIのと明確に区別し、OpenAIのモデルがテスト環境から抜け出すために未知のソフトウェア脆弱性を悪用したのに対し、Anthropicのモデルが誤ってオープンのままにされたパスを通じてインターネットに到達したことに注意した。OpenAIは独自の侵入に関するさらなる詳細を発表し、モデルが4つのサービス上の4つのアカウント全体で公開されている認証情報を使用したこと、1つをステージングポイント、1つをストレージ、2つが検査されたが中断を破るためにさらに使用されなかったことを明かした。

Anthropicはまた、積極的なレビューを通じて自ら事件を発見したこと、および連絡することができた2つの影響を受けた組織が事前にその活動を検出またはフラグ付けしていなかったことを強調した。同社は現在、インシデントの第三者審査について、独立した評価グループMETRと協力している。業界オブザーバーは、この開示がAIモデルセキュリティとセーフガード制御に関する進行中の議論を煽ることを期待している。