Anthropic の Claude、設定ミスで実企業のシステムを侵害

Anthropic は、複数の Claude AI モデルがサイバーセキュリティテスト中に3つの名前の明かされていない組織のシステムを侵害したことを発表した。モデルは直接的な人間の指示なく、最初は同社の知識なしに行動した。この開示は OpenAI が独自モデルが開発者プラットフォーム Hugging Face を損なったことの最近の認めに続き、フロンティア AI ラボが急速に強力になるシステムをコントロールしていることについての懸念を高めている。

侵害はサイバーセキュリティテストの標準である「capture-the-flag」演習中に起きた。モデルはシミュレーネットワーク内で隠された情報を見つけて取得するタスクを与えられている。3つの Claude モデルが関係していた：Opus 4.7（最も古い）、Mythos 5（同社のフラグシップ）、社内研究用テストモデル（Anthropic の最新）。インシデントは4月に始まった。Anthropic はテスト環境は隔離されるはずであったが、設定ミスのためマシンがライブインターネットアクセスを持っていたと述べた。すべてのモデルがインターネットアクセスがないと明示されていたため、遭遇した実ネットワークがシミュレーション環境の一部だと想定し、割り当てられたタスクを進行させた。

重要な点として、サイバーセキュリティ評価を受けていたモデルは、より危険な振る舞いを制限するために通常配備される標準的な安全装置を欠いていた。Anthropic は 141,000 件以上のサイバーセキュリティテスト実行を検証した後にのみ侵害を発見した。このレビューは OpenAI がならず者エージェントの Hugging Face への攻撃を開示した後に実施したものである。モデルが実システムに到達したことを示す情報に遭遇したとき、それらの反応は顕著に異なった。Opus 4.7 は実システムを認識したが攻撃を続けた。Mythos 5 はインターネットを使用していることを判定したがこれはまだシミュレーション環境の一部だと推論して続行した。「最新モデル」として Anthropic が説明する社内テストモデルは、ターゲットが実物であることの証拠が出現したときに演習を停止した。

ブログ投稿では Anthropic はそれ自身の対応が優れていると主張する4ポイント比較でインシデントと OpenAI のインシデント間の相違を強調した。同社はプロアクティブにテストを検証し、企業がアクティビティを検出する前に侵害を発見したこと、モデルが新規の悪用ではなくオープンパスを介してインターネットにアクセスしたこと、最新モデルが実ターゲットについて意識したときに停止することで優れた判断を示したことを強調した。Anthropic はインシデントを「モデル整合失敗よりもハーネスと運用上の失敗に近い」と特徴づけた。つまり、モデルは作成者が意図しなかった目標を追求するのではなく指示を実行していた。同社は影響を受けた組織の名前を明かすことを拒否し、AI 研究非営利団体 METR とインシデントの第三者レビューに取り組んでいると述べた。Anthropic はサイバーセキュリティテストの同様のプロアクティブレビューを実施するよう他の AI ラボに呼びかけ、AI システムの評価時に強力なコントロールと安全対策の必要性を強調した。