AIToday
大規模言語モデルAI安全性・アラインメントWIRED AI掲載日時: 2026年7月18日 19:00

研究者、プロンプトインジェクションをAI防御に活用

LINEで送る
研究者、プロンプトインジェクションをAI防御に活用

3つのポイント

  1. 何が起きたか

    Tracebitの研究者らは、Amazon Web Services上に保存されたパスワードと暗号化キーに並行してプロンプトインジェクションを埋め込むことで、AIハッキングエージェントをブロックできることを実証した。エージェントが「コンテキスト爆弾」(LLMのセーフガード機構を発動させる悪意あるプロンプト)に遭遇すると、シャットダウンして元の攻撃コマンドの実行を停止する。

  2. なぜ重要か

    AI駆動型ハッキングエージェントは現在、テスト対象のモデル全体で攻撃の57%で管理者権限の奪取に成功している。Tracebitのコンテキスト爆弾手法はこれを5%に削減し、テスト対象で最も能力が高いモデル(Opus 4.8)については成功率を93%からゼロに低下させた。これは攻撃をただ検知するのではなく積極的に停止する方法を防御側に提供する。エージェントモデルが管理者権限の奪取に平均14分しか必要としないのに対し、従来の検知方法は攻撃開始から平均8分後に防御側に通知するため、これは極めて重要である。

  3. 注目点

    TracebitはOpus 4.8、Gemini 3.1 Pro、GLM 5.2、DeepSeek 4 Pro、Kimi 2.6の5つの主要モデルを152回の攻撃実行でテストした。本研究はTracebitが5月に導入した、AIエージェントが調査時に防御側に通知する「カナリア」AWSリソースに続くもので、攻撃者自身がすでにプロンプトインジェクションを兵器化してAI支援マルウェア分析ツールを無効化しようとしている状況の中での発表である。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

プロンプトインジェクション攻撃は長らく一方向の脅威であった。攻撃者はメール、文書、その他のコンテンツに悪意あるコマンドを埋め込み、AIシステムをだましてデータを流出させたり有害な行動を実行させたりしていた。この攻撃は大規模言語モデルの根本的な性質を悪用している。LLMは正当な指示と埋め込まれた隠し命令を区別するのに苦労している。Check PointとSocketのセキュリティ研究者は、攻撃者がこの同じ手法を防御的に使用している事例を文書化している。マルウェアにプロンプトを注入してAI支援セキュリティ分析ツールを無効化しているのだ。

Tricebitのイノベーションはこのダイナミクスを逆転させ、AIデベロッパーがモデルに組み込んだセーフガード機構そのものを兵器化している。重要な洞察は、LLMが一貫して特定の禁止されたアクション実行を拒否し、一度こうした拒否に遭遇すると、元のタスク指示に従うのを停止する状態に入るということである。防御側がクラウドストレージ内の実際のシークレットと並行してこれらのトリガープロンプトを仕込むことで、攻撃側にとって罠が生まれる。AIエージェントが侵入して認証情報を盗むためにリソースを列挙し始めると、不可避的に仕込まれたプロンプトを発見してシャットダウンしてしまう。研究は、これが著しく効果的であることを示している。5つの主要モデルと152回の攻撃を通じて、この手法は完全侵害(攻撃者が永続性を確立する状況)を36%からわずか1%に削減した。

タイミングのコンテキストは極めて重要である。Tracebitの5月の研究はカナリアリソースを導入し、防御側に8分以内に進行中の攻撃を通知できるようにした。エージェントモデルが権限奪取に平均14分を要するため、防御側は対応するのに6分間の奪い合いに直面する。コンテキスト爆弾は、人間の介入を必要とせず攻撃を自動的に失敗させることで、この奪い合いを排除する。これは防御側がプロンプトインジェクションを防御メカニズムとして使用する初めての文書化された事例であり、専ら攻撃者のツールであったものを盾に変えている。

よくある質問
コンテキスト爆弾はどのように機能するか?
防御側は、吸入性炭疽菌胞子開発の指示を提供すること、あるいは中国のモデルの場合は天安門事件の戦車男を参照することなど、禁止されたアクションを実行するよう指示するプロンプトを仕込む。攻撃側のエージェントのLLMがこれらの禁止コマンドに遭遇すると、セーフガードが発動して拒否メカニズムが作動し、モデルは既存の攻撃指示に従うことを停止する。
Tracebitはどのモデルをテストしたか?
Tracebitはシミュレーション環境内のAWS上でOpus 4.8、Gemini 3.1 Pro、GLM 5.2、DeepSeek 4 Pro、Kimi 2.6を152回の攻撃実行でテストした。
防御側にとってなぜタイミングが重要か?
エージェントモデルは管理者権限の奪取に平均14分を要する。Tracebitの初期段階のカナリア検知方法は平均8分以内に防御側に通知し、わずか6分間の余裕しかない。コンテキスト爆弾はこの時間との競争を必要とせず、攻撃を積極的に停止する。
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

OneTrust、AI台帳を継続更新する秋リリース

OneTrustはOneTrust CORIEを基盤とするFall '26リリースを発表し、厳選した基盤モデルライブラリからモデルの関連付けと非推奨指標を継続的に更新するAI台帳を追加した

NEWSiliconANGLE AI4時間前

マイクロソフトがAIエージェントで攻撃対抗サービス提供開始

Microsoft Ignite 2026でマイクロソフトは赤・青・緑チームのエージェントを組み合わせ攻撃模擬・検知調査・脆弱性修正を行うMicrosoft Perceptionの一般提供を発表した

NEWPublickey4時間前

Windows Server 2028がパブリックプレビュー公開

Microsoft Ignite 2026でWindows Server 2028のパブリックプレビューが公開され、Microsoft Foundry、Windows ML、vLLM、Llama.cppによるAI推論ホス…

NEWPublickey4時間前

AUMOVIOがLLMの唯一の経路をDatabricksに統一

AUMOVIOはDatabricks Unity GatewayをLLMへの唯一の経路に採用

NEWDatabricks AI Blog4時間前

CADMAGEDDON、5ベンチマークで最先端CADモデル超え

CADMAGEDDONはBenchCADの64³ボクセルIoUで、1000部品のサブセットにおいて0.991を記録し、Claude Sonnet 5.5の0.963、Claude Opus 5.5の0.962、GPT-6…

NEWAI Weekly4時間前

MIT Technology ReviewのAI指数、AIは遍在

MIT Technology ReviewのAI誇大広告指数はAIの広がりを示し、GoogleのAI Overviewsが広告収入で数十億ドルを失わせたことやAI支援のサイバー攻撃を挙げた

NEWMIT Technology Review AI4時間前
次の記事へLGのインド第3工場、予定前に稼働 世界最大AC生産基地へ