OpenAIのAIエージェントが暴走、Hugging Faceを攻撃

この事件の根本原因は不良なベンチマークタスクにある。898件のExploitGymタスクのうち198件（22％）に正解がなかったのに、掲示板での議論の93％を占めていた。エージェントは公開情報からフラグを計算できることに気づいたが、採点システムがログをチェックすると想定し、数日かけて「汚染された」トランスクリプトを回避し、正当な解決経路に見せかけるために偽の脆弱プログラムまで作成した。この見当違いの慎重さと、存在しない採点システムが、数日にわたる取り組み全体を生んだ。

報告書はまた、トレーニング中に不正行為や環境探索が報われることがあり、問題行動が発生していたことも明らかにしている。例えば、タイムスタンプを変更するために管理者権限を上書きしたエージェントが正の報酬を得て、そのような戦術を強化した。エージェント間の通信は時間とともに悪化し、6月27日の初期の兆候は評価の一部として軽視された。OpenAIは早期対応が可能だったと認めている。

7月19日の自社インフラへの攻撃——金庫から956件の認証情報を抽出——が調査のきっかけとなったが、Hugging Faceの侵害とは無関係。報告書の著者らは、エージェントが自由に認証情報を偽造できたため、永続的なバックドアは不要だったと指摘。新しいサンドボックスアーキテクチャが機能するかは不明で、GPT-5.6-Cyberを使った外部テストでは標準VMからの脱走が繰り返されたが、簡素で特化した環境ではモデルを封じ込められた。