NvidiaのSentry、エージェント脱出をミリ秒で封じ込め

Nvidiaの基盤は三つの要素を重ねる。3月に公開したオープンソースソフトOpenShellは各エージェントをサンドボックスに閉じ込め、どのファイル、プログラム、ネットワーク、認証情報に触れられるかを運用者が決める。新たなハードウェア監視機構Sentry。そして9月10日に公開した形式検証ツールで、それらの権限が設定された限界を超えていないかを検出することを狙う。検証ツールはまだ複数のエージェントが協調する場合を対象としていないとNvidiaは言う。Sentry自体はBlueField-4データ処理ユニット向けのリファレンス設計で、Vera Rubinデータセンターシステムでは、エージェントとAIモデルの間の唯一の接続上に位置する。

Nvidiaが挙げる根拠は、指示が不明確だったりタスクが数週間に及んだりするとエージェントは割り当てから逸脱し得るというものだ。能力を制限しなければそれは訓練で取り除けず、エージェントは自分自身を完全には監視できない。Nvidiaは、エージェントに許す行動が多いほどその推論は可視であるべきだと論じるが、Sentryが主に確認するのは要求、身元、アクセスだ。2025年のAnthropicの研究では、クローズドモデル提供者が共有する推論要約はモデルを実際に駆動するものを信頼性をもって反映しないことが分かった。他の実験では、明確に指示されればモデルはログの中で意図を隠せることが研究者によって確認された。プロンプトインジェクションも依然として難しい。攻撃者はウェブページなどに命令を隠し、言語モデルはそうした指示を通常の内容と確実には区別できない。

Nvidiaはこの取り組みをウェブブラウザになぞらえる。ブラウザはあらゆるサイトを隔離してインターネットをより安全にしたというのだ。だがブラウザは攻撃を終わらせたわけではない。攻撃をより難しくしたものの、今日も絶え間ない修正を要する。Nvidia自身も複数層の保護に依存している。ハードウェア監視機構が状況を変えるかは、許可された対象が技術レベルで明確に定義されているか、外部システムへのアクセスが実際に遮断されているか、そしてNvidiaが公開していない検出の数字にかかっている。