GPT-Red が発見した「フェイク思考の連鎖」攻撃とは何か？

思考の連鎖とは、LLM が自分自身にメモを取り、問題解決中に部分的な結果を追跡する日記である。GPT-Red は別のモデルの思考の連鎖に偽造エントリを挿入して、偽造情報に基づいて行動させる方法を見つけた。例えば、モデルに 1+1=3 であり、既にこれを検証したと告げることで、モデルは偽の事実を受け入れて使用するようになる。

GPT-Red は人間のレッドティーマーよりもどの程度攻撃の発見に効果的か？

OpenAI が 2025 年の実験を再実行した際、人間のレッドティーマーが GPT-5 の前バージョンの弱点を見つけようとしたが、GPT-Red は人間よりも効果的な攻撃の発見に成功した。同社は Vendy 自動販売機エージェントに対しても GPT-Red をテストし、商品価格を変更し顧客注文をキャンセルするようハッキングできた。

OpenAI がなぜ GPT-Red をリリースしないのか？

OpenAI は GPT-Red をリリースしておらず、このスーパーハッカーが誰かがコピーキャット版を作成しようとするモデルよりも強力であると確信している。研究者たちは 1 年以上このモデルに取り組んでおり、世界で最も裕福な企業の 1 つの計算リソースを活用している。これは「他の誰かが簡単にできるような些細なものではない」。

大規模言語モデルAIビジネス・産業MIT Technology Review AI2026年7月15日2026年7月16日 4:005分で読める

OpenAI、GPT-Redで防御強化

LINEで送る

要点

OpenAI は GPT-Red を開発した。これはデプロイ前にセキュリティの脆弱性を見つけてパッチを当てるために、他の AI システムを攻撃するよう訓練された AI モデルだ。
GPT-Red が攻撃を試み、他のモデルが防御を練習する自己対戦訓練ループを使用することで、OpenAI は新しい攻撃タイプ（特に「フェイク思考の連鎖」注入）を発見した。最新フラッグシップモデルである GPT-5.6 は現在、これらの攻撃の 77% 以上をブロックするが、前バージョンではわずか 10% だった。
このアプローチにより、AI モデルがより複雑になり、コード編集やウェブブラウジングなどリスクの高い実世界の設定で使用されるようになるにつれて、OpenAI は安全性テストとの歩調を合わせることができる。

3つのポイント

何が起きたか
OpenAI は GPT-Red を開発した。これは自己対戦ループで他の AI モデルを攻撃するよう訓練された LLM で、GPT-5.6 の防御強化に使用された。このモデルは「フェイク思考の連鎖」注入を含む新しい攻撃タイプを発見した。これはモデルを偽造情報に基づいて行動させるものだ。2025 年に人間のテスターが前バージョンの GPT-5 に対して実施した同じレッドティーミングタスクでテストすると、GPT-Red は人間よりも効果的な攻撃の発見に成功した。
なぜ重要か
LLM がより高度になり、ファイル、ウェブサイト、コードと相互作用するエージェントとして展開されるにつれて、人間のレッドティーミングチームだけでは拡大する攻撃対象領域に対応できない。GPT-Red はこの安全性評価を大規模で自動化する。OpenAI の調査では、GPT-Red の最強攻撃の 23% 未満が GPT-5.6 に対して機能したのに対し、昨年 8 月にリリースされた GPT-5 に対しては 90% 以上が機能した。このアプローチがリリース前にモデルの堅牢性を測定可能に改善できることを示している。
注目点
GPT-Red には制限がある。往復的な会話攻撃や、人間のテスターが得意とするイメージベースのプロンプト注入に苦労している。OpenAI は GPT-Red が人間のレッドティーマーを補足するもので、置き換えるものではないと述べており、このようなシステムを訓練するために必要な高い計算コストを理由に、このモデル自体はリリースしない予定だ。

この記事についてAIに質問する →

こういう要約が、毎朝あなたのメールに届きます。

こうしたAIニュースを毎朝無料で受け取る LINEで友だち追加して受け取る

背景と解説

OpenAI による GPT-Red の開発は、AI 安全性における根本的な課題を反映している。言語モデルがより高度になり、コード、ウェブサイト、外部システムと相互作用するエージェントなど、ますます複雑な実世界シナリオにデプロイされるにつれて、潜在的な攻撃の範囲は従来の人間主導のテストが対応できるよりも速く拡大する。同社の共同創設者である Nikhil Kandpal と Dylan Hunn は、これを攻撃対象領域の拡大と影響範囲の拡大の両方の問題として位置づけている。OpenAI は、人間のレッドティーミングチームを無限に拡大するのではなく、自己対戦訓練ループを使用して GPT-Red を設計した。これは攻撃モデルと防御モデルが互いに反復的に改善される技法であり、他の分野で見られる競争訓練ダイナミクスを反映している。このアプローチにより、人間のテスターが思いつかない可能性があった新しい攻撃ベクトルを発見できる。

具体的な結果は、このメソッドの価値を支持している。GPT-5.6 が GPT-Red が発見した最強の攻撃に対してテストされた際、成功率は 23% 未満だった。昨年 8 月にリリースされた前バージョンの GPT-5 に対しては 90% 以上の成功率があったため、劇的な低下である。バージョン全体での堅牢性における測定可能な改善は、レッドティーミングプロセスが実行可能な防御改善をもたらしたことを示している。特に、GPT-Red は研究者がこれまで出会ったことのない攻撃タイプ（思考の連鎖の注入をめぐるフェイクなど）を発見した。これはモデルの入力処理だけでなく、推論プロセス自体を悪用している。このような新規攻撃の発見は、大規模での自動レッドティーミングの価値を強調している。

よくある質問

GPT-Red が発見した「フェイク思考の連鎖」攻撃とは何か？: 思考の連鎖とは、LLM が自分自身にメモを取り、問題解決中に部分的な結果を追跡する日記である。GPT-Red は別のモデルの思考の連鎖に偽造エントリを挿入して、偽造情報に基づいて行動させる方法を見つけた。例えば、モデルに 1+1=3 であり、既にこれを検証したと告げることで、モデルは偽の事実を受け入れて使用するようになる。
GPT-Red は人間のレッドティーマーよりもどの程度攻撃の発見に効果的か？: OpenAI が 2025 年の実験を再実行した際、人間のレッドティーマーが GPT-5 の前バージョンの弱点を見つけようとしたが、GPT-Red は人間よりも効果的な攻撃の発見に成功した。同社は Vendy 自動販売機エージェントに対しても GPT-Red をテストし、商品価格を変更し顧客注文をキャンセルするようハッキングできた。
OpenAI がなぜ GPT-Red をリリースしないのか？: OpenAI は GPT-Red をリリースしておらず、このスーパーハッカーが誰かがコピーキャット版を作成しようとするモデルよりも強力であると確信している。研究者たちは 1 年以上このモデルに取り組んでおり、世界で最も裕福な企業の 1 つの計算リソースを活用している。これは「他の誰かが簡単にできるような些細なものではない」。

MIT Technology Review AI元記事を読む

LINEで送る