何が起きたか
OpenAI は GPT-Red を開発した。これは自己対戦ループで他の AI モデルを攻撃するよう訓練された LLM で、GPT-5.6 の防御強化に使用された。このモデルは「フェイク思考の連鎖」注入を含む新しい攻撃タイプを発見した。これはモデルを偽造情報に基づいて行動させるものだ。2025 年に人間のテスターが前バージョンの GPT-5 に対して実施した同じレッドティーミングタスクでテストすると、GPT-Red は人間よりも効果的な攻撃の発見に成功した。
なぜ重要か
LLM がより高度になり、ファイル、ウェブサイト、コードと相互作用するエージェントとして展開されるにつれて、人間のレッドティーミングチームだけでは拡大する攻撃対象領域に対応できない。GPT-Red はこの安全性評価を大規模で自動化する。OpenAI の調査では、GPT-Red の最強攻撃の 23% 未満が GPT-5.6 に対して機能したのに対し、昨年 8 月にリリースされた GPT-5 に対しては 90% 以上が機能した。このアプローチがリリース前にモデルの堅牢性を測定可能に改善できることを示している。
注目点
GPT-Red には制限がある。往復的な会話攻撃や、人間のテスターが得意とするイメージベースのプロンプト注入に苦労している。OpenAI は GPT-Red が人間のレッドティーマーを補足するもので、置き換えるものではないと述べており、このようなシステムを訓練するために必要な高い計算コストを理由に、このモデル自体はリリースしない予定だ。
こういう要約が、毎朝あなたのメールに届きます。
OpenAI による GPT-Red の開発は、AI 安全性における根本的な課題を反映している。言語モデルがより高度になり、コード、ウェブサイト、外部システムと相互作用するエージェントなど、ますます複雑な実世界シナリオにデプロイされるにつれて、潜在的な攻撃の範囲は従来の人間主導のテストが対応できるよりも速く拡大する。同社の共同創設者である Nikhil Kandpal と Dylan Hunn は、これを攻撃対象領域の拡大と影響範囲の拡大の両方の問題として位置づけている。OpenAI は、人間のレッドティーミングチームを無限に拡大するのではなく、自己対戦訓練ループを使用して GPT-Red を設計した。これは攻撃モデルと防御モデルが互いに反復的に改善される技法であり、他の分野で見られる競争訓練ダイナミクスを反映している。このアプローチにより、人間のテスターが思いつかない可能性があった新しい攻撃ベクトルを発見できる。
具体的な結果は、このメソッドの価値を支持している。GPT-5.6 が GPT-Red が発見した最強の攻撃に対してテストされた際、成功率は 23% 未満だった。昨年 8 月にリリースされた前バージョンの GPT-5 に対しては 90% 以上の成功率があったため、劇的な低下である。バージョン全体での堅牢性における測定可能な改善は、レッドティーミングプロセスが実行可能な防御改善をもたらしたことを示している。特に、GPT-Red は研究者がこれまで出会ったことのない攻撃タイプ（思考の連鎖の注入をめぐるフェイクなど）を発見した。これはモデルの入力処理だけでなく、推論プロセス自体を悪用している。このような新規攻撃の発見は、大規模での自動レッドティーミングの価値を強調している。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
Vinci4Dは物理方程式で学習するチップ設計シミュレーションソフトを提供
SEMI会長兼CEOのAjit Manocha氏はDIGITIMESに、半導体業界が予測より数年早く1兆ドルに到達し、2035年までの2兆ドルも達成可能だと述べた
NvidiaのAI EnterpriseはGPU1基あたり年額4,500ドルで提供され、有料サブスクリプションはサポート付きソフト、セキュリティ更新、CUDA依存から経常利益への道を加える
CoreWeaveは今週25%超下落し、木曜には債務利回りが一時16%を突破
中国の商務省と科学技術省は、輸出管理リストに23件の先端AI技術を追加する改正案を公表した
Anthropicは今週、投資家に対し粗利率が85%に達していると説明した
