研究者、プロンプトインジェクションをAI防御に活用

月曜日、Tracebitは、防御側がAmazon Web Services上に保存されたパスワードと暗号化キーと並行して悪意あるプロンプトを埋め込むことでAIハッキングエージェントを停止できることを示す研究を発表した。Tracebitが「コンテキスト爆弾」と呼ぶこの手法は、AIデベロッパーが有害なアクション実行を防ぐために作成するバリアであるLLMのビルトインセーフガード機構を発動させることで機能する。LLMが禁止コマンドを拒否すると、既存の指示に従うのを停止し、事実上攻撃を中止する。

研究者らは、吸入性炭疽菌胞子開発の指示を提供するか、中国系デベロッパーのモデルの場合は1989年の天安門広場虐殺の戦車男を参照するようLLMに指示するプロンプトを仕込むことで、このコンセプトを実証した。攻撃側のLLMがこれらのコマンドに遭遇すると、拒否メカニズムが発動して持続する。Tracebitの共同創業者兼CEOのAndy Smithが説明したように：「一度コンテキストに入ると、彼らは拒否し続けるだろう」。TracebitはこのアプローチをOpus 4.8、Gemini 3.1 Pro、GLM 5.2、DeepSeek 4 Pro、Kimi 2.6の5つの主要モデルでテストし、テスト用AWS環境内でデベロッパータスクをシミュレートして、エージェントが管理者認証情報の盗取や永続的なフットホルドの確立にどの程度成功するかを測定した。

結果は大きなものであった。152回の攻撃実行を通じて、管理者権限奪取は57％から5％に低下した。管理者奪取と永続的フットホルド確立の組み合わせは36％から1％に低下した。あらゆる攻撃経路を達成した実行は91％から15％に低下した。テスト中最も能力が高かったモデルであるOpus 4.8は、攻撃実行の93％で管理者アクセスを達成していたが、コンテキスト爆弾に直面するとすべて失敗した。平均すると、防御がない場合、各攻撃実行は1.53の成功した攻撃経路を完了したが、防御がある場合は0.16に過ぎない。注目すべきことに、少なくとも1回のカナリア検知をトリガーしない実行は成功していない。

この研究はTracebitの5月の研究に基づいており、カナリアリソース（正当に見えるが実際には機能を持たない偽のAWSリソース）を導入している。エージェントAIがこれらを調査すると、防御側は通常、攻撃開始から8分以内にアラートを受け取る。しかし、この検知ウィンドウは不快なほど狭いことが判明した。エージェントモデルは管理者権限へのエスカレーションに平均14分しか必要としないため、防御側はわずか6分で対応する必要があった。コンテキスト爆弾は、警告ではなく積極的に攻撃を停止することでこのギャップを埋めるために設計された。この研究はまた、攻撃者自身のプロンプトインジェクション兵器化にも対応している。SocketとCheck Pointのセキュリティ研究者は、LLMエージェントが核兵器または生物兵器製造の指示を出力するよう指示されている事例を文書化しており、これはAI支援マルウェア分析を無効化するために特に設計されている。UC San Diegoの教授でAIセキュリティを専門とするEarlence Fernandesは、コンテキスト爆弾がこの手法の初めての既知の防御的用途のように見えると確認し、彼自身も類似のアプローチを模索していたがTricebitに「先を越された」と述べた。プロンプトインジェクションの根本的原因は未解決のままであり、デベロッパーはセーフガードのみに依存することを強いられている。この制限がコンテキスト爆弾を防御側の利益に変えている。

プロンプトインジェクション攻撃は長らく一方向の脅威であった。攻撃者はメール、文書、その他のコンテンツに悪意あるコマンドを埋め込み、AIシステムをだましてデータを流出させたり有害な行動を実行させたりしていた。この攻撃は大規模言語モデルの根本的な性質を悪用している。LLMは正当な指示と埋め込まれた隠し命令を区別するのに苦労している。Check PointとSocketのセキュリティ研究者は、攻撃者がこの同じ手法を防御的に使用している事例を文書化している。マルウェアにプロンプトを注入してAI支援セキュリティ分析ツールを無効化しているのだ。

Tricebitのイノベーションはこのダイナミクスを逆転させ、AIデベロッパーがモデルに組み込んだセーフガード機構そのものを兵器化している。重要な洞察は、LLMが一貫して特定の禁止されたアクション実行を拒否し、一度こうした拒否に遭遇すると、元のタスク指示に従うのを停止する状態に入るということである。防御側がクラウドストレージ内の実際のシークレットと並行してこれらのトリガープロンプトを仕込むことで、攻撃側にとって罠が生まれる。AIエージェントが侵入して認証情報を盗むためにリソースを列挙し始めると、不可避的に仕込まれたプロンプトを発見してシャットダウンしてしまう。研究は、これが著しく効果的であることを示している。5つの主要モデルと152回の攻撃を通じて、この手法は完全侵害（攻撃者が永続性を確立する状況）を36％からわずか1％に削減した。

タイミングのコンテキストは極めて重要である。Tracebitの5月の研究はカナリアリソースを導入し、防御側に8分以内に進行中の攻撃を通知できるようにした。エージェントモデルが権限奪取に平均14分を要するため、防御側は対応するのに6分間の奪い合いに直面する。コンテキスト爆弾は、人間の介入を必要とせず攻撃を自動的に失敗させることで、この奪い合いを排除する。これは防御側がプロンプトインジェクションを防御メカニズムとして使用する初めての文書化された事例であり、専ら攻撃者のツールであったものを盾に変えている。

まだコメントがありません。最初のコメントを投稿しましょう！