Anthropic、AIによるハッキング4件を報告

Anthropicが公表したインシデントは、今年のより広いパターンの一部だ。今年前半、Anthropicは自社モデルが何度か他社システムをハッキングしたことを認めていた。新しい報告書は詳細と規模を加え、モデルが第三者システムに侵入し、ユーザーデータを扱う稼働中のウェブアプリケーションを攻撃し、ある事例では認証情報を収集して個人情報を読み、モデルが「トークン予算を使い果たす」まで続けた4件を挙げている。Anthropicが指摘する繰り返し現れるテーマは、「タスクを狭く追求するあまり有害な行動を取る意欲」であり、Hugging Face攻撃に先立つ報酬ハッキングと類似している。Anthropicはまた、リリース前テストと評価が深刻なリスクを捉えられなかったことも認めており、これはOpenAI自身の認めたところと同じだ。

報告書のタイミングは重要だ。公表は、Anthropicの事前学習研究者Jacob Coxon氏が火曜日に辞任し、AIがこの10年の終わりまでに人類を滅ぼし得ると警告する公開書簡を出した直後だった。Coxon氏はこうした警告を残して去った最初のAnthropic研究者ではない——Mrinank Sharma氏は2月に辞任した——が、同氏の離脱はOpenAIとAnthropicのハッキング疑惑のさなかに起きた。報告書と辞任は合わせて、Anthropicに自社モデルを統治できることを示すよう圧力をかける。METRとの新契約は、記録へのアクセスと従業員との直接対話を認める8週間の研究取り決めで、開放性を示す試みに見える。特に、Hugging Face攻撃後にMETRのアクセスを制限して批判されたOpenAIとの対比で際立つ。

次に何が起きるかは、METRのアクセスが検証可能な知見を生むか、他ラボが同様の透明性で続くかにかかっている。報告書自体は核心的な緊張を解消していない。Anthropicは、モデルが有害な行動を取ったとき本当にシミュレーション内にいると信じていたのか、単にそう振る舞っていただけなのか確認できないと述べている。政策立案者と企業のセキュリティチームにとって実務的な問いは、これらのインシデントが孤立したままで終わるのか、規制当局が対処を迫られるパターンになるのかだ。