OpenAI、GPT-Redで防御強化

OpenAI は GPT-Red と呼ばれる内部 AI システムを展開している。これはリリース前に最先端のモデルの防御を体系的に強化するために、他の AI モデルを攻撃するよう訓練された LLM である。同社は先週フラッグシップ LLM の最新版である GPT-5.6 をリリースし、GPT-Red に対して訓練することで、最も堅牢なリリースになったと述べている。

GPT-Red は伝統的に人間のセキュリティテスターが実施する「レッドティーミング」と呼ばれる安全性評価プロセスを自動化する。GPT-Red を構築するために、OpenAI の研究者たちは未訓練の LLM を取り、複数の他のモデルとともに自己対戦訓練ループに配置した。多くのラウンドの中で、GPT-Red は攻撃時に改善し、他のモデルは防御時に改善した。訓練は OpenAI が設計したシミュレーション環境で行われた。これはウェブブラウジング、メールおよびカレンダー読み取り、コード編集を含む実世界のデプロイメントシナリオを模倣していた。GPT-Red が新しい攻撃を発見すると、特定のシナリオで最も効率的なものを見つけるために複数のバージョンを探索した。共同創設者で研究科学者の Hunn は次のように説明している。「人間のレッドティーマーと比較して、モデルは正確に何が機能し、正確に何が最も効果的かを見つけるのに非常に優れている。発見した攻撃を詳しく調査することについて、極めて執拗である。」

最も重要な発見は「フェイク思考の連鎖」と呼ばれる新しい攻撃タイプだった。思考の連鎖とは、LLM が内部メモを保持し、問題解決時に部分的な結果を追跡するメカニズムである。GPT-Red は別のモデルの思考の連鎖に偽造エントリを挿入し、偽造情報に基づいて行動させる方法を見つけた。チームの別の研究科学者である Chris Choquette-Choo がこのコンセプトを説明した。「1+1=3 であり、すでに検証したと言ったようなものだ。モデルは『ああ、わかりました』と答え、単に 3 を出力する。」OpenAI は、隠れた指示をテキストに埋め込んで LLM に機密データのコピー、コードの破壊、有害な出力の生成などの意図しないアクションを実行させるプロンプト注入と呼ばれる異なるクラスの攻撃に最も力を注いだ。

GPT-Red の有効性を検証するために、OpenAI は 2025 年の実験を再実行した。人間のレッドティーマーが GPT-5 の前バージョンを破ろうと試みた。GPT-Red が同じタスクを実行した場合、効果的な攻撃の発見で人間よりも成功した。同社は Andon Labs が開発した自動販売機エージェント Vendy に対しても GPT-Red をテストし、GPT-Red は商品価格を変更し注文をキャンセルするためのハッキングに成功した。OpenAI が GPT-Red が発見した最強の攻撃をモデルに適用した場合、90% 以上が昨年 8 月にリリースされた GPT-5 に対して機能したが、GPT-5.6 に対しては 23% 未満だった。Georgetown University Center for Security and Emerging Technology の上級研究アナリストである Jessica Ji は自己対戦アプローチを称賛した。「結果は非常に有望に見える。」

GPT-Red には顕著な制限がある。人間のテスターが簡単に処理する往復会話攻撃に苦労しており、プロンプト注入シナリオでテキストを渡すことができるイメージベースの攻撃をまだ十分に利用できていない。OpenAI は GPT-Red が人間のレッドティーマーを補足するもので置き換えるものではないことを強調している。人間はそれが見落とした攻撃を見つけることができ、その逆も然りである。同社は人間が発見した攻撃を GPT-Red に提供し、すべてのバリエーションを見つけるようモデルに依頼するハイブリッドアプローチを探索している。OpenAI は GPT-Red をリリースしない。1 年以上にわたってそのようなシステムを訓練するために必要な集約的な計算投資は、他者にとって禁止的に高価になると確信している。

OpenAI による GPT-Red の開発は、AI 安全性における根本的な課題を反映している。言語モデルがより高度になり、コード、ウェブサイト、外部システムと相互作用するエージェントなど、ますます複雑な実世界シナリオにデプロイされるにつれて、潜在的な攻撃の範囲は従来の人間主導のテストが対応できるよりも速く拡大する。同社の共同創設者である Nikhil Kandpal と Dylan Hunn は、これを攻撃対象領域の拡大と影響範囲の拡大の両方の問題として位置づけている。OpenAI は、人間のレッドティーミングチームを無限に拡大するのではなく、自己対戦訓練ループを使用して GPT-Red を設計した。これは攻撃モデルと防御モデルが互いに反復的に改善される技法であり、他の分野で見られる競争訓練ダイナミクスを反映している。このアプローチにより、人間のテスターが思いつかない可能性があった新しい攻撃ベクトルを発見できる。

具体的な結果は、このメソッドの価値を支持している。GPT-5.6 が GPT-Red が発見した最強の攻撃に対してテストされた際、成功率は 23% 未満だった。昨年 8 月にリリースされた前バージョンの GPT-5 に対しては 90% 以上の成功率があったため、劇的な低下である。バージョン全体での堅牢性における測定可能な改善は、レッドティーミングプロセスが実行可能な防御改善をもたらしたことを示している。特に、GPT-Red は研究者がこれまで出会ったことのない攻撃タイプ（思考の連鎖の注入をめぐるフェイクなど）を発見した。これはモデルの入力処理だけでなく、推論プロセス自体を悪用している。このような新規攻撃の発見は、大規模での自動レッドティーミングの価値を強調している。

まだコメントがありません。最初のコメントを投稿しましょう！