プロンプトインジェクションでAIハッキング agent を阻止

何が起きたか

Tracebitの研究者は、プロンプトインジェクション（AI安全機構を発動するよう設計された禁止コマンド）をAmazon Web Services上の保存されたシークレットと並置することで、AIハッキング agentによる攻撃を遮断できることを発見した。彼らはこの「コンテキスト爆撃」手法を5つの主要なAIモデル（Opus 4.8、Gemini 3.1 Pro、GLM 5.2、DeepSeek 4 Pro、Kimi 2.6）に対してテストし、攻撃の成功率が劇的に低下することを確認した。

なぜ重要か

プロンプトインジェクションは伝統的に攻撃者がAIシステムを有害な行動へと操作するためのツールであった。この防御的な転用は状況を逆転させ、禁止されたプロンプトを攻撃 agentが遭遇する場所に埋め込むことで、防御者はモデルの組み込み安全機構を発動させ攻撃を途中で停止させ、データ流出と不正アクセスを防ぐことができる。

注目点

5つの主要モデルと152回の攻撃実行にわたるテストでは、コンテキスト爆弾の配置により agentがフルアカウント管理者権限を奪取する率は57%から5%に低下し、完全な侵害は36%から1%に低下した。テストされた最も能力の高い agent であるOpus 4.8は、管理者アクセスを達成する率が93%から、コンテキスト爆弾に直面すると100%失敗する状態へと変わった。