OpenAI、自動攻撃AIで脆弱性検出 成功率84％

7月15日、OpenAIは導入前に自社モデルの脆弱性を発見するよう設計された自動化レッドチーミングAI「GPT-Red」を発表しました。レッドチーミングはセキュリティ検証技法で、テスターが攻撃者の視点を採用して弱点を調査します。人間のレッドチーマーは歴史的に標準でしたが、2つの重大な制約に直面しています。プロセスは時間がかかり、スケーリングが難しいこと、そして訓練を通じてモデルのロバスト性を意味のある方法で改善するのに必要な攻撃データの量と多様性を生成できないことです。

GPT-Redはターゲットモデルに反復的にプロンプトを送信し、応答を観察し、攻撃を洗練させることで人間のレッドチーマーを模倣します。このシステムは自己対戦強化学習を使用して訓練されました。攻撃するGPT-Redモデルが複数の防御言語モデルに対して同時に訓練されます。攻撃側はプロンプトインジェクション（指示の中に悪意のあるコマンドを埋め込む）を成功させることで報酬を得、防御側は攻撃に抵抗し意図した課題を完了することで報酬を得ます。防御者が強くなるにつれて、攻撃者はより強力で多様な攻撃を考案することを学びます。これは好循環を生み出します。OpenAIは計算リソースを純粋にこのセキュリティ業務に投資しました。これは最大の学習後努力に相当する量です。

パフォーマンスの向上は実質的です。以前に見たことのないシナリオを使用した間接的プロンプトインジェクション試験において、人間のレッドチーマーは13％の攻撃成功率を達成し、GPT-Redは84％のケースで成功しました。実世界テストでは、OpenAIはGPT-Redにそのオフィスで実行中のAI自動販売機エージェント（Anthropicの実験的Project Vendに類似）を攻撃することを任せました。GPT-Redは3つの悪意のある目標すべてを達成しました。高価なアイテムを0.50ドルに変更する、100ドル以上のアイテムを注文して0.50ドルで転売する、および他の顧客の注文をキャンセルします。これらの脆弱性は公開されており、現在修復テストを受けています。

GPT-Redの主な役割は、発見された攻撃をプロダクトモデル訓練にフィードしてロバスト性を高めることです。最新モデル「GPT-5.6 Sol」はGPT-Redの攻撃を使用した対敵訓練から恩恵を受けました。最も難しいダイレクトプロンプトインジェクションベンチマークでは、GPT-5.6 Solの失敗率は4ヶ月前の最高プロダクトモデルの6分の1に低下しました。GPT-Red自体からのダイレクトプロンプトインジェクション攻撃に対して、失敗率はわずか0.05％です。GPT-Redの初期バージョンで発見された新しい攻撃タイプ（「偽Chain-of-Thought攻撃」と呼ばれる）は、GPT-5.1に対して95％を超える成功率を持っていましたが、現在はGPT-5.6 Solで10％未満です。OpenAIは、このセーフティ改善は能力を犠牲にすることなく実現したと強調しています。モデルは通常の能力を保持しながら、悪意のある指示への抵抗力を獲得しました。

誤用を防ぐため、GPT-Redは社内モデルのままで、導入システムから厳密に分離されており、訓練された攻撃能力が悪い行為者に渡らないようにします。OpenAIはこの取り組みを「セーフティフライホイール」の開始として位置付け、今日のモデルを使用して明日のモデルをより堅牢で信頼できるものにします。同社はGPT-Redの今後の強力なバージョンのための計算と訓練データを拡大する予定です。この成果の詳細を述べた査読論文は今週後半にリリースされる予定です。

OpenAIによるGPT-Redの発表は、AI企業がセキュリティ検証にどのようにアプローチするかの転換を反映しています。人間の専門家によるレッドチーミングは労働集約的であり、モデルのロバスト性を大幅に改善するのに必要な攻撃データの量と多様性を生成することができません。自己対戦で訓練されたAI対手によるこのプロセスの自動化を通じて、OpenAIは「セーフティフライホイール」と呼ぶものを作成することを目指しています。これは今日のモデルが明日のモデルをより復元力のあるものにする循環です。同社は計算リソースを安全性に費やしました。これは最大の学習後努力に相当する量です。

OpenAIオフィスのAI自動販売機エージェントでの実世界テストでは、実際の利害が示されました。GPT-Redは以前の防御が検出しなかった3つの悪意のある目標（価格操作、注文詐欺、注文キャンセル）を達成しました。この発見はGPT-5.6 Solの訓練にフィードバックされ、プロンプトインジェクションベンチマークで劇的に低い失敗率を示すようになりました。同社は、モデル能力を低下させることなくロバスト性が向上したことを強調しています。防御的すぎるモデルはしばしば有用性が低下するため、これは重要な区別です。GPT-Redを社内に保持し、査読論文を公開する予定にすることで、OpenAIは透明性とセキュリティのバランスを取ろうとしており、研究コミュニティがこの成果から学ぶことができる一方で、攻撃ツールが拡散するのを防いでいます。

まだコメントがありません。最初のコメントを投稿しましょう！