AIの間接プロンプト注入を構造で防ぐMitate

MitateはIT専門家以外向けの製品だ。会話で要望を伝えると、勤怠収集や備品貸出といった業務アプリをシステムが構築し、使 while しながら調整できる。AIが日常的に外部資料を読むため、間接プロンプトインジェクションの標的になりやすい。R2-sanが最初に考えた、読むものは指示ではなくデータだとシステムプロンプトで伝える方法は強制ではなく依頼であり、注入を完全に検知する手法はないと説明される。

そこで三層の対策は判断をモデルの外へ移す。設計AIが出力できるのはJSON定義、過去記録へのクエリ、ユーザーへの返答のみで、SQLやシェルコマンド、認証情報、通知先を書く場所がない。定義の検査は実行側で行われ、通知先はアプリ定義で宣言された役割からのみ取る。有効化もAIではなく実行基盤が決めるため、確認を飛ばすよう求めた場合でもテストでは確認カードが出た。

残る穴は、小さな編集を軽く保つため確認なしで有効になる「追加」の分類だった。テストの埋め込み指示がこの分類に収まったことから、R2-sanは呼び出し側プログラムがAIの入力に何を入れたかに連動するルールを加えた。過去の会話や過去の設計記録が含まれていれば、追加でもカードに回す。R2-sanは境界を明示する。記録を読むのはAI自身であり、CaMeL型の読み取りモデルと設計モデルの分離は使っておらず、Mitateはプロンプトインジェクションの防止をうたうのではなく、かく乱された結果が人の介在なしに有効になる経路を塞ぐだけだという。