OpenAI、防御強化用攻撃モデル「GPT-Red」開発

OpenAIは、他の大規模言語モデルの防御をテストするための対抗的なスパーリングパートナーとして機能するよう設計された専門的な言語モデル「GPT-Red」を開発しました。同社は先週、最新フラッグシップLLM「GPT-5.6」をリリースしました。OpenAIによれば、GPT-5.6がこれまでで最も堅牢なリリースとなったのはGPT-Redとのやり取りを通じて訓練されたからです。

GPT-Redは伝統的に人間のテスターが実施してきた「レッドチーミング」というセキュリティ慣行を自動化します。人間テスターの役割はシステムを破壊または侵害する方法を可能な限り多く見つけることです。発見された脆弱性は最終ソフトウェアのリリース前に修正されます。LLMが複雑化し、コンピュータファイル、Webサイト、サードパーティコード、他のエージェントと相互作用できるAIエージェントとしてますます展開されるようになると、人間チームだけでは起こり得るすべての潜在的攻撃を予測することが難しくなります。OpenAIの研究科学者でGPT-Red共同開発者のNikhil Kandpalによれば、「リスクの対象領域は拡大し、影響の範囲は広がります」。このモデルは、より高度なモデルが出現しても安全テストが効果的であり続けるよう設計されています。新しい攻撃手法は、将来の世代のモデルと並行して機能し続けるシステムによって発見できます。

GPT-Redの構築にあたり、OpenAIの研究者らは攻撃の訓練を受けていないLLMを、複数の他のモデルとともにセルフプレイ・ループに組み込みました。GPT-Redが攻撃役を、他のモデルが防御役を担います。多くのラウンドを経て、GPT-Redは攻撃スキルを磨き、他のモデルは防御を強化しました。訓練はOpenAIが「道場」と表現する環境で行われました。この環境はWebブラウジング、メールとカレンダーの使用、コード編集を含むLLMが実際に動作するシナリオを再現するよう設計されています。

OpenAIは「プロンプト・インジェクション」攻撃に特に重点を置きました。これはハッカーが秘密裏にLLMに指示を埋め込み、機密情報のコピー、企業コードベースの破壊、有害または不適切な出力の生成など、意図しない行動を実行させる攻撃です。理論上、そうした命令はLLMが読む可能性のあるテキスト、コードからWebサイトテキストまで、あらゆるテキストに埋め込むことができます。GPT-Redが新しい攻撃を発見すると、特定のシナリオで最も有効に機能するものを見つけるため、変異体を探索しました。GPT-Red共同開発者の研究科学者Dylan Hanによれば、このモデルは人間のレッドチーマーと比べて「何が有効で、何が最も有効かを判断する」ことに「非常に優れており」、「発見された攻撃にしぶとく徹底的に取り組む忍耐力」を持っています。研究チームは、GPT-Redが「Fake Chain of Thought」と呼ぶものを含め、これまで見たことのないプロンプト・インジェクション攻撃を発見したと主張しています。この攻撃は思考過程のメカニズムを悪用します。思考過程とは、LLMが問題を解く際に中間結果をログに記録する内部記録です。GPT-Redは別のモデルの思考過程に虚偽の記録を書き込む方法を見つけ、モデルをして虚偽の情報を信じさせて行動させます。チームの研究科学者Chris Choquet-Tuはアナロジーで説明しました。「1+1=3で、あなたはすでにそれを確認しましたと言うようなものです。モデルは『ああ、そうだ』と言って、3と答えます』」

ジョージタウン大学安全保障新興技術センター（CSET）のシニア研究アナリストで、AI安全を研究するJessica Zeeは、OpenAIのセルフプレイ・ループアプローチを好意的に評価し、結果を「非常に有望」と呼びました。GPT-Redの攻撃能力を評価するため、OpenAIは2025年に、人間のレッドチーマーが古いGPT-5の脆弱性を発見した実験を再現しました。同じタスクを与えたところ、GPT-Redは人間よりも効果的な攻撃の発見に成功しました。OpenAIはまた、Andon Labsが開発した自動販売機エージェント「Vendy」に対してGPT-Redをテストしました。GPT-Redはランベンディーに対する不正アクセスに成功し、商品価格を変更し、顧客注文をキャンセルすることができました。

防御に関して、OpenAIはGPT-Redの最も強力な攻撃を自社モデルに対してテストした際、2024年8月にリリースされたGPT-5に対しては90%以上が成功しましたが、新しいGPT-5.6に対しては23%未満が成功したと報告しました。ただし、GPT-Redには制限があります。攻撃者と標的の間で複数回のダイアログサイクルを伴う攻撃の考案が得意ではなく、これは人間の攻撃者が容易に行えることです。また、画像を使用してモデルにテキストを伝えるプロンプト・インジェクション攻撃に対しても、依然として不十分な効果しか発揮しません。OpenAIによれば、GPT-Redは人間のレッドチーマーに取って代わるのではなく補完するものです。人間はGPT-Redが見逃す攻撃を見つけられ、その逆も同様です。現在の取り組みの一つは、人間が考案した攻撃をGPT-Redに与え、すべての変異体を探索させることです。Zeeが指摘するように、「人間の専門知識は引き続き非常に重要」であり、人間テストが本当に必要な領域を特定することは価値があります。OpenAIはGPT-Redを公開する予定はなく、模倣モデルよりもはるかに強力であると考えています。研究チームは1年以上にわたって膨大な計算リソースを背景に開発しており、研究科学者Choquet-Tuが述べたように、「誰かがこのアイデアを簡単に取得して、同様の高度な攻撃モデルを訓練できるわけではありません」。

OpenAIによるGPT-Redの開発は、大規模言語モデルがより高度化し広く展開される中で、AI安全テストの根本的な転換を反映しています。従来、セキュリティ脆弱性を発見するレッドチーミング活動は人間のテスター頼りでしたが、LLMの複雑さの増加と、Webブラウザやコードエディタ、他のAIエージェントといった外部システムとの統合が進むにつれて、人間だけでの包括的なテストはますます困難になっています。OpenAIが採用したセルフプレイ・ループアプローチでは、GPT-Redが他のモデルを繰り返し攻撃する一方でそれらは防御を強化し、攻撃者と防御者の能力が共進化するトレーニングの場が生まれます。これはサイバーセキュリティにおける競争力学を映し出しており、防御側はまだ発明されていない攻撃に先制的に備える必要があります。

「Fake Chain of Thought」攻撃は、自動化が必要とされる理由を示す好例です。この攻撃は、現代のLLMが問題解決時に内部的に使用する仕組み（思考過程の記録）を悪用するもので、そうした攻撃を発見するにはモデル自体のロジックを理解する必要があります。OpenAIが2025年の実験を再現したところ、人間のレッドチーマーがGPT-5の脆弱性を発見したのと同じタスクで、GPT-Redは人間テスターよりも効果的な攻撃を発見しました。これは、攻撃空間の自動探索が特定の領域ではより徹底的である可能性を示唆しています。ただし、本文は人間の専門知識を置き換えることはGPT-Redの意図ではないことを明確にしています。人間テスターはGPT-Redが見逃す攻撃を見つけられ、その逆も同様であり、最も効果的なアプローチは両者を組み合わせることです。

まだコメントがありません。最初のコメントを投稿しましょう！