Opus 5、プロンプトインジェクション攻撃を完全防止

Anthropic は、Claude Cowork などの製品の Auto Mode と組み合わせた Opus 5 モデルが、129 のブラウザベースのテストシナリオ全体でプロンプトインジェクション攻撃に対して 0% の成功率を達成することを示す調査結果を発表しました。これは、防止が著しく困難であることが証明されている攻撃の形態に対して AI エージェントを保護するための大きな前進を表しています。

セキュリティ企業 Gray Swan が実施した並列ベンチマークでは、Opus 5 は 15 回の試行後に 2.0% の攻撃成功率で首位を獲得し、Opus 4.8 の 5.5% と比較されました。次の競争相手の Mythos 5 と Fable 5 はそれぞれ 2.6% と 2.8% を達成しました。改善はモデルレベルの堅牢性と建築上の変更の両方を反映していますが、ブラウザシナリオでの劇的な 0% の成功率は保護ソフトウェアスタックに重大に依存しています。

防御メカニズムは 2 つの順序立った層に依存しています。最初に、Auto Mode はモデルが処理する前にすべての受信データをスキャンして隠された指令を検出し、明らかな攻撃ベクトルを除外します。次に、システムは実行時に危険なアクションをブロックし、成功したインジェクションがモデルをだましてもそれが害をもたらすことを防ぎます。両方のレイヤーを独立して回避する必要があるため、攻撃者はほぼ不可能な状況に直面しています。Auto Mode を有効にしない場合、Opus 5 のブラウザインジェクション成功率は 3.7% に上昇し、興味深いことに、Sonnet 5 は単独で 0.93% でより良いパフォーマンスを発揮します。これは、モデルのアーキテクチャ単独では脆弱性を排除できないことを示しています。これは 0% の結果が単独のモデルではなく、モデルとソフトウェアの組み合わせたシステムの産物であることを強調しています。

プロンプトインジェクションは AI 展開における最も難しいセキュリティ問題の 1 つとして浮上しており、特にウェブページとユーザーが制御する入力と相互作用する必要のある自律型エージェントに当てはまります。AI エージェントがウェブページを読む場合、攻撃者は隠されたテキストまたは工作されたプロンプトを埋め込み、モデルに元の指令を無視させることができます。例えば、データを盗んだり、意図しないアクションを実行させたりできます。この脆弱性は、モデル自身が正当な入力と悪意のある指令を確実に区別する必要があるため、ほぼ解決不可能です。攻撃者がより創意工夫するにつれて、このタスクはさらに困難になります。

Opus 5 を使用した Anthropic のアプローチは、モデルが免疫を持っていると主張するのではなく、保護ソフトウェア（Auto Mode）でラップすることで異なるレイヤーで問題に対処しています。最初のレイヤーはモデルに到達する前に隠された指令をキャッチし、2 番目のレイヤーはインジェクションが成功した場合でも危険なアクションを防ぎます。攻撃者が両方を独立して突破することを要求することで、組み合わせたシステムは実世界のブラウザシナリオで完全に近い防御を達成します。このレイヤード防御は重要です。OpenAI が 12 月に認めたように、モデル自体の堅牢性のみに依存することは十分でない可能性があるためです。

まだコメントがありません。最初のコメントを投稿しましょう！