
何が起きたか
Gray SwanがArena 2.0と最大規模のコンテストIPI Blackを開始。Anthropic、Meta、Google DeepMind、Reflection AIが賞金30万ドル。
なぜ重要か
標的は間接プロンプトインジェクション。AIエージェントが触れるコンテンツに攻撃者が指示を隠す手法で、企業がエージェントにウェブ閲覧や代理行動をさせる中で重大なセキュリティ課題となっている。
注目点
11月2日まで毎週、新たな攻撃シナリオが公開される。
誰に効くかフロンティアラボやAIエージェントを導入する企業のAIセキュリティチームとレッドチーマーは、実環境導入前に隠し指示攻撃への防御を試せる公開サンドボックス手段を得る。
こういう要約が、毎朝あなたのメールに届きます。
Gray Swanの刷新は、企業が導入するAIアプリがチャットボットからウェブを閲覧し行動するエージェントへ移行した中で行われた。2024年9月に元のArenaが始まった当時、大半のアプリはチャットボットで、出場者は各社のモデルを比較的容易にジェイルブレイクできた。中国のAIラボのオープンソースモデルは数分で破られることが多く、OpenAIやAnthropicのモデルは何時間も、通常は約1日かかった。それ以降、各ラボはモデルを大幅に堅牢化し、エージェントのテスト環境構築には今や高度な技術力が必要だ。これにより有能なレッドチーマーの層は狭まったが、Gray Swanによれば約15,000人のコミュニティは参加促進の取り組みにより縮んでいない。新Arenaは初心者向け課題、トレーニング認定、優秀者をGray Swanのレッドチーミングコミュニティへ招く道筋を備え、より段階的で教育的な道を提供する。Arenaの知見は商用製品ShadeとCygnalにも活かされ、同社は年初の約15人から66人へと拡大し、フロンティアラボから大企業へと顧客層を広げている。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る
Uber Engineeringは3層の枠組みを詳述した

CrowdStrikeは「Frost Radar™: AI Security Operations Centers, 2026」でVisionary Leaderに選ばれ、Growth Indexで最高位に位置付けられた

ServiceNowはCopilot Studioを採用し、Microsoft AIエージェント作成ポータルを開始した

VerizonのCEO、Dan Schulman氏は、顧客対応におけるAIが顧客体験を人より1200ベーシスポイント以上改善すると述べ、顧客にとって良いならVerizonは導入すべきだと語った

ガートナーの鹿内氏はフィジカルAIの3層構造とHuman in the loopからHuman on the loopを経て完全自律に至る道筋を示し、4つの人間の役割が残ると述べた

AnthropicのClaudeがポケモンのキャラクター、スプライト、ロゴ、名称の生成をほぼ全て拒否していると報じられた
