NVIDIA、AIエージェントの安全設計を解説

NVIDIAのブログ記事は、具体的な障害事例を軸に構成されている。顧客情報を更新するAIエージェントが添付文書を読み、そこに埋め込まれた悪意ある指示に従って、顧客データを未承認の送信先へ送ろうとする事例だ。このシナリオは、外部の文書やデータに指示を隠してAIの動作を誘導するプロンプトインジェクションの一例として説明されている。NVIDIAの答えは、エージェントの判断を完璧にしようとするのではなく、エージェントが誤った指示に従った場合でも、ネットワークポリシーでデータ送信を阻止し、アクセス判断とその結果をログに記録できるようにすることだ。

記事はまた、権限を持つことと、それを必要とすることの区別にも触れている。顧客情報を更新する権限を持つエージェントが、その情報を外部へ送る権利まで自動的に必要とするわけではなく、NVIDIAはエージェントが追加の権限を要求できても自ら承認はできない仕組みが必要だと述べている。対策が実際に機能するかを判断する責任は本番前に割り当てるべきで、テストで見つかった問題は修正につなげるべきだとしている。

NVIDIAはこれらすべてを、モデルの問題ではなくシステム設計の問題として位置づけている。推奨する対策には、各エージェントに追跡可能なIDを付与すること、認証情報を目の前のタスクに限定すること、エージェントが到達できるデータやシステム、承認が必要な操作をポリシーで定義すること、ポリシー内であっても影響の大きい操作や権限変更には人間の承認を必須とすること、ツール、スキル、依存関係の出所と完全性を検証すること、ツール呼び出しと認可判断の記録を保護された形で保持し、アクセス失効とインシデント封じ込めの手順を明確にすることが含まれる。