OpenAIのAIが人間の6倍速でセキュリティ脆弱性発見

OpenAI は GPT-Red という内部 AI セキュリティモデルを開発した。これは GPT システムの脆弱性を自動的に発見するよう設計されている。人間のレッドチームのみに頼るのではなく、GPT-Red は自己対戦強化学習を使用して敵対的攻撃をシミュレートする。このアプローチでは、GPT-Red がプロンプトインジェクションおよび他の攻撃ベクトル—メール、ウェブサイト、またはファイルに埋め込まれた悪意のある命令—を生成し、防御モデルがそれらをブロックしようとする。攻撃者と防御者の両方は反復的相互作用を通じて時間とともに改善し、動的な敵対的訓練ループを生成する。

このアプローチの効果は劇的である。テストシナリオ全体で、GPT-Red は 84% の攻撃成功率を達成し、人間のレッドチームはわずか 13% である。1つの注目すべき実証は OpenAI のオフィスで発生し、GPT-Red は AI 対応自動販売機を操作した：価格を変更して他の顧客の注文をキャンセルし、プロンプトインジェクション攻撃が抽象的なモデル動作を超えた現実世界の結果を持つ方法を示した。これらの知見は直接モデル訓練に流れ込み、その後のリリースに組み込まれた防御を知らせる。

GPT-5.6 Sol は OpenAI の最新モデルで、このレポートの時点でテストされ、GPT-Red の成果からの利益を反映している。このモデルは、4ヶ月前に利用可能だった最高性能モデルと比べて直接的なプロンプトインジェクション攻撃の障害が 6 倍削減されており、一般的なパフォーマンスを低下させずに達成された実質的な改善である。しかしセキュリティは絶対的ではない。GPT-5.6 Sol では「強度の高い」プロンプトインジェクション攻撃の約 3.8% が依然として成功している。この割合は小さく聞こえるが、大規模—攻撃者が数百～数千回の試行を行う場合—相当数が防御を突破する。この残存する脆弱性は Claude Opus 4.5 の攻撃成功率を反映しており、OpenAI の設計における固有の弱点よりもむしろ AI セキュリティの最先端に共通する課題を反映していることを示唆している。OpenAI は GPT-Red を内部用のままとしており、追加の知見を含む詳細な研究論文が発表されると発表している。

OpenAI の AI セキュリティへのアプローチは、従来の人間主導のレッドチームから敵対的機械学習へのシフトを示している。GPT-Red を自己対戦強化学習で訓練することで—攻撃モデルと防御モデルが反復的に互いに進化する—OpenAI は人間のテスターが達成できるはるかを超えたプロセスを創出した。GPT-Red の 84% の攻撃成功率対人間の 13% は実質的な効率ギャップを明かしており、人間のレッドチームは価値があるとはいえ、敵対的空間を徹底的かつ迅速に探索することはできない。

GPT-5.6 Sol の具体的な改善は、このテスト体制が本番環境のモデルで測定可能なセキュリティ向上に転換されることを示している。直接的なプロンプトインジェクションの障害が 6 倍削減されることは実質的な強化を表し、モデルの一般的な機能を損なわずに達成されており、防御への過適合は有用性を損傷させるため重要な制約である。しかし 3.8% の成功率の持続性は、プロンプトインジェクションが最先端においても部分的に未解決の問題であることを示唆している。Claude Opus 4.5 との比較は、この残存する脆弱性が OpenAI のアプローチに固有ではなく、主要モデル全体に共通する課題を反映していることを示唆している。

まだコメントがありません。最初のコメントを投稿しましょう！