AIToday
大規模言語モデルAI安全性・アラインメントFortune AI掲載日時: 2026年10月20日 22:01

Gray SwanがArena 2.0開始

LINEで送る
Gray SwanがArena 2.0開始

3つのポイント

  1. 何が起きたか

    Gray SwanがArena 2.0と最大規模のコンテストIPI Blackを開始。Anthropic、Meta、Google DeepMind、Reflection AIが賞金30万ドル。

  2. なぜ重要か

    標的は間接プロンプトインジェクション。AIエージェントが触れるコンテンツに攻撃者が指示を隠す手法で、企業がエージェントにウェブ閲覧や代理行動をさせる中で重大なセキュリティ課題となっている。

  3. 注目点

    11月2日まで毎週、新たな攻撃シナリオが公開される。

誰に効くかフロンティアラボやAIエージェントを導入する企業のAIセキュリティチームとレッドチーマーは、実環境導入前に隠し指示攻撃への防御を試せる公開サンドボックス手段を得る。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

Gray Swanの刷新は、企業が導入するAIアプリがチャットボットからウェブを閲覧し行動するエージェントへ移行した中で行われた。2024年9月に元のArenaが始まった当時、大半のアプリはチャットボットで、出場者は各社のモデルを比較的容易にジェイルブレイクできた。中国のAIラボのオープンソースモデルは数分で破られることが多く、OpenAIやAnthropicのモデルは何時間も、通常は約1日かかった。それ以降、各ラボはモデルを大幅に堅牢化し、エージェントのテスト環境構築には今や高度な技術力が必要だ。これにより有能なレッドチーマーの層は狭まったが、Gray Swanによれば約15,000人のコミュニティは参加促進の取り組みにより縮んでいない。新Arenaは初心者向け課題、トレーニング認定、優秀者をGray Swanのレッドチーミングコミュニティへ招く道筋を備え、より段階的で教育的な道を提供する。Arenaの知見は商用製品ShadeとCygnalにも活かされ、同社は年初の約15人から66人へと拡大し、フロンティアラボから大企業へと顧客層を広げている。

よくある質問
間接プロンプトインジェクションとは何か?
AIエージェントがウェブページやフォーラム投稿など出会うコンテンツに指示を隠し、タスク実行中のエージェントを乗っ取ろうとする攻撃。
IPI Blackコンテストのスポンサーは?
Anthropic、Meta、Google DeepMind、Reflection AIが30万ドルの賞金プールをスポンサーしている。
Gray SwanはArenaのテストをどう安全に保つのか?
現実世界への被害リスクなしにテストできるサンドボックス環境を備え、エージェントの行動をGray Swanが監視する。
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

OneTrust、AI台帳を継続更新する秋リリース

OneTrustはOneTrust CORIEを基盤とするFall '26リリースを発表し、厳選した基盤モデルライブラリからモデルの関連付けと非推奨指標を継続的に更新するAI台帳を追加した

NEWSiliconANGLE AI4時間前

マイクロソフトがAIエージェントで攻撃対抗サービス提供開始

Microsoft Ignite 2026でマイクロソフトは赤・青・緑チームのエージェントを組み合わせ攻撃模擬・検知調査・脆弱性修正を行うMicrosoft Perceptionの一般提供を発表した

NEWPublickey4時間前

Windows Server 2028がパブリックプレビュー公開

Microsoft Ignite 2026でWindows Server 2028のパブリックプレビューが公開され、Microsoft Foundry、Windows ML、vLLM、Llama.cppによるAI推論ホス…

NEWPublickey4時間前

AUMOVIOがLLMの唯一の経路をDatabricksに統一

AUMOVIOはDatabricks Unity GatewayをLLMへの唯一の経路に採用

NEWDatabricks AI Blog4時間前

CADMAGEDDON、5ベンチマークで最先端CADモデル超え

CADMAGEDDONはBenchCADの64³ボクセルIoUで、1000部品のサブセットにおいて0.991を記録し、Claude Sonnet 5.5の0.963、Claude Opus 5.5の0.962、GPT-6…

NEWAI Weekly4時間前

MIT Technology ReviewのAI指数、AIは遍在

MIT Technology ReviewのAI誇大広告指数はAIの広がりを示し、GoogleのAI Overviewsが広告収入で数十億ドルを失わせたことやAI支援のサイバー攻撃を挙げた

NEWMIT Technology Review AI4時間前
次の記事へQwen2.5-1.5BをLoRAで日本語追加学習