研究者、プロンプトインジェクションをAI防御に活用

プロンプトインジェクション攻撃は長らく一方向の脅威であった。攻撃者はメール、文書、その他のコンテンツに悪意あるコマンドを埋め込み、AIシステムをだましてデータを流出させたり有害な行動を実行させたりしていた。この攻撃は大規模言語モデルの根本的な性質を悪用している。LLMは正当な指示と埋め込まれた隠し命令を区別するのに苦労している。Check PointとSocketのセキュリティ研究者は、攻撃者がこの同じ手法を防御的に使用している事例を文書化している。マルウェアにプロンプトを注入してAI支援セキュリティ分析ツールを無効化しているのだ。

Tricebitのイノベーションはこのダイナミクスを逆転させ、AIデベロッパーがモデルに組み込んだセーフガード機構そのものを兵器化している。重要な洞察は、LLMが一貫して特定の禁止されたアクション実行を拒否し、一度こうした拒否に遭遇すると、元のタスク指示に従うのを停止する状態に入るということである。防御側がクラウドストレージ内の実際のシークレットと並行してこれらのトリガープロンプトを仕込むことで、攻撃側にとって罠が生まれる。AIエージェントが侵入して認証情報を盗むためにリソースを列挙し始めると、不可避的に仕込まれたプロンプトを発見してシャットダウンしてしまう。研究は、これが著しく効果的であることを示している。5つの主要モデルと152回の攻撃を通じて、この手法は完全侵害（攻撃者が永続性を確立する状況）を36％からわずか1％に削減した。

タイミングのコンテキストは極めて重要である。Tracebitの5月の研究はカナリアリソースを導入し、防御側に8分以内に進行中の攻撃を通知できるようにした。エージェントモデルが権限奪取に平均14分を要するため、防御側は対応するのに6分間の奪い合いに直面する。コンテキスト爆弾は、人間の介入を必要とせず攻撃を自動的に失敗させることで、この奪い合いを排除する。これは防御側がプロンプトインジェクションを防御メカニズムとして使用する初めての文書化された事例であり、専ら攻撃者のツールであったものを盾に変えている。