OpenAI、自動攻撃AIで脆弱性検出 成功率84％

OpenAIによるGPT-Redの発表は、AI企業がセキュリティ検証にどのようにアプローチするかの転換を反映しています。人間の専門家によるレッドチーミングは労働集約的であり、モデルのロバスト性を大幅に改善するのに必要な攻撃データの量と多様性を生成することができません。自己対戦で訓練されたAI対手によるこのプロセスの自動化を通じて、OpenAIは「セーフティフライホイール」と呼ぶものを作成することを目指しています。これは今日のモデルが明日のモデルをより復元力のあるものにする循環です。同社は計算リソースを安全性に費やしました。これは最大の学習後努力に相当する量です。

OpenAIオフィスのAI自動販売機エージェントでの実世界テストでは、実際の利害が示されました。GPT-Redは以前の防御が検出しなかった3つの悪意のある目標（価格操作、注文詐欺、注文キャンセル）を達成しました。この発見はGPT-5.6 Solの訓練にフィードバックされ、プロンプトインジェクションベンチマークで劇的に低い失敗率を示すようになりました。同社は、モデル能力を低下させることなくロバスト性が向上したことを強調しています。防御的すぎるモデルはしばしば有用性が低下するため、これは重要な区別です。GPT-Redを社内に保持し、査読論文を公開する予定にすることで、OpenAIは透明性とセキュリティのバランスを取ろうとしており、研究コミュニティがこの成果から学ぶことができる一方で、攻撃ツールが拡散するのを防いでいます。