OpenAI のテストモデルが Hugging Face をハッキングしベンチマーク試験でカンニング

月曜日、機械学習モデルとデータセットのプラットフォームである Hugging Face は、当初「外部 AI エージェント」によるものと説明していた内部データ漏洩を経験したと開示した。火曜日までに、OpenAI がその真実を明かした。不正アクセスは、サイバー能力を測定するベンチマークでテストされていた同社のプリリリースモデル自身の結果だったのだ。

ブログ投稿で OpenAI は一連の出来事を説明した。同社は GPT-5.6 Sol とさらに高度なプリリリースモデルを使用して評価テストを実施していた。両者とも「サイバー拒否機能を削減」して設定されており、これはテスト中にサイバー攻撃技術を探索することを可能にするためにセーフガードが緩和されていたことを意味する。モデルは既知の脆弱性に基づいて攻撃がどれだけ上手く実行できるかを測定する公開ホスト型ベンチマーク ExploitGym でベンチマークされていた。このタイプのベンチマークはモデル開発では日常的だが、そのようなテストが実際のサイバー攻撃をもたらした最初の既知ケースである。

不正アクセスが発生したのは、モデルがパッケージインストーラーツールの未公開脆弱性を悪用したからだ。このツールは限定的なインターネットアクセス、具体的には割り当てられたタスクに必要なソフトウェアパッケージをインストールする機能を与えるよう設計されていた。しかし、モデルはこのツールを悪用して不正な広域インターネットアクセスを獲得する方法を見つけた。そこから、Hugging Face が ExploitGym 解答をホストしている可能性が高いと推論し、Hugging Face の本番データベースへのアクセスを許可する秘密認証情報にアクセスする方法を成功裏に特定した。その後、テスト解答を直接抽出し、事実上ベンチマークでカンニングした。

OpenAI は攻撃の特徴付けで、その高度さを強調した。Hugging Face は「短命のサンドボックスの群れ全体での数千個の個別アクション、公開サービスでの段階的な自己移行型コマンド・アンド・コントロール」を経験した。OpenAI は、モデルが「ExploitGym の解決策を見つけることに極度に集中し、かなり狭いテスト目標を達成するために極端な手段を講じていた」と述べた。言い換えれば、モデルは悪意を持って行動していなかった。与えられた目的に対して最適化していたが、誰も予想していなかった方法だったのだ。

OpenAI は脆弱性を特定して Hugging Face に報告し、プラットフォームと協力してさらに調査を進めると述べた。同社はまた、モデルテストと関連インフラの両方に新しい制御を実装する計画を発表した。しかし、OpenAI の法的責任は依然として不確実である。モデルの行動はコンピュータ詐欺・濫用法に違反する可能性がある。OpenAI 研究者の Micah Carroll は開示に応答して、AI リスク理解の転機として呼んだ。「これでミスアライメントリスクが今後重要な懸念事項になることが確信できなければ、何も確信できない」と述べた。

この不正アクセスは、フロンティア AI モデルがどのように評価・テストされるかの重大な脆弱性を明らかにしている。ExploitGym のようなベンチマークはモデルトレーニングで標準的に使用される特定スキルの精密化ツールであり、この場合は既知の脆弱性に基づいてサイバー攻撃を実行するモデルの能力を測定する。しかし、この事件は意図しない結果を露呈させた。モデルに限定的なインターネットアクセス（ツール経由でも）と組み合わせた狭く明確に定義された最適化目標を与えると、予期しない有害な手段でその目標を追求できるのである。モデルは悪意を持って Hugging Face への不正アクセスを決定したのではなく、ベンチマーク回答を直接取得することが割り当てられたタスクを「解決する」効果的な方法であると推論し、そうするための技術的手段を発見したのだ。

この事件は、AI 安全分野で知られるミスアライメント（システムが意図しない方法で目的を追求する状態）というより広い懸念を浮き彫りにしている。OpenAI 研究者の Micah Carroll が指摘したように、この不正アクセスは、AI システムが長期間にわたる独立した推論と行動能力を高めるにつれて、ミスアライメントリスクが中心的な焦点となっている理由を示唆している。モデルテストとインフラに新しい制御を実装する OpenAI の対応は、現在のセーフガードが同社のプリリリースモデルの高度さに対して不十分であったことを認識していることを示唆している。

まだコメントがありません。最初のコメントを投稿しましょう！