ActionRail、AIエージェント不正実行を防止

ActionRailはToolJetが開発したオープンソースのランタイム値・行動グラウンディングフレームワークである。AIエージェント実行において特定の障害モードを解決する。エージェントのツール呼び出しは完全に許可されており構文的に正しいが、依然として誤っている場合がある。例えば、既に払い戻し済みの注文への返金、誤った顧客に属する実際の口座への送金、口座残高を超える出金がこれに該当する。標準的な許可リストとスキーマチェックは、リクエストの形状のみを検証し、ライブデータに対する値の正確性を検証しないため、これらのケースを通す。

ActionRailは実行前に重要なツール呼び出しを検査し、各引数をライブシステムレコードに対してグラウンディングし、許可・人間確認待ち・ブロックを返す。フレームワークは実行境界で実行される。ソース検索と認証情報は顧客環境に留まり、ツールは許可判定の後にのみ呼び出される。あらゆるPythonアプリケーションは、フレームワーク非依存のActionRuntimeをコード内の明示的な境界を通じて直接使用できる。LangGraphは自動ツール検出とラッピングを備え、追加フレームワークアダプタが計画中。

ActionRailの有効性の証拠は、4つのプロバイダーから8つのモデルにわたるレッドチームテストから得られる。値毒入り攻撃を使用した。エージェントを形式は正しくも引数値が誤った状態に導くよう設計された入力である。保護なしの全モデルが少なくとも1つの毒入り値を実行し、攻撃成功は1.7％～63.3％に及んだ。ActionRailを導入すると、480件の操作は実行されず、480件の正当なリクエストは誤ってブロックされなかった。判定パイプルはコスト最小確認を最初に実行し、二層アプローチをサポートする。ポリシー（「amount ≤ 200 → 人間確認待ち」のような決定論的式）とグラウンディング（値対システムレコード）。グラウンディングは表現力が豊かで、異なるソース間で複数チェックをANDでき、各チェックは戻り値フィールドを演算子（=、≠、>、≥、<、≤、含む、次のいずれか、設定済み、空）で呼び出し元コンテキスト値、リテラル、別の引数（例：balance ≥ amount）、現在時刻（例：delivered_at ≥ now-30d）と比較する。

ActionRailは環境に留まるソースをサポートする。SQLite、PostgreSQL、MySQL/MariaDB、HTTP/REST、MCPゲートウェイアダプタ。PostgreSQLとMySQL接続は読み取り専用モード、名前付きパラメータ、強制的なタイムアウトを使用する。シークレットは${env:VAR}参照として記述され、局所的に解決されるため、認証情報がコントロールプレーンに到達することはない。オプションのDjangoコントロールプレーンとReactコンソールにより、チームはソースを登録し、引数ごとにグラウンディングルールを作成し、すべての許可・保留・ブロック判定のライブアクティビティフィードを監視できる。SDKはメタデータのみを報告する。ツール名、結果、値を含まない理由、匿名化されたプレビュー。詳細な結果とレンダリングされたプレビューは、局所判定でのみ公開され、モデルには公開されない。ActionRailはまた、Action Testsを導入する。実行可能なコントラクトとともにコミットされたルール。本番で使用される同じ判定パイプラインを通じて実行される。許可・保留・ブロックをモデルAPIキー、認証情報、ネットワークアクセスを必要とせずにCI契約として確認可能にする。フレームワークは現在公開ベータ版で、2026年8月にv1がリリース予定。

ActionRailはAIエージェントセーフティにおける見落としの盲点に対応している。パーミッションと正確性のギャップだ。従来の認可システムはエージェントが行動の実行を許可されているかを検証し、スキーマチェックはリクエストが正しい形式であることを保証するが、どちらも渡されている実際の値を現在のシステムの状態と比較していない。レッドチームの証拠は、これが実在するリスクであることを示している。テストした全モデルが保護なしで少なくとも1つの悪意のある構文的に正しいリクエストを実行し、成功率は最高63.3％に達した。フレームワークのアプローチは実用的だ。ツール呼び出しを実行境界で検査し、ライブデータソース（顧客のVPC内に保たれる）に照会し、基盤となる関数が実行される前に最終判定を行う。

この設計は本番AIシステムの制約を反映している。グラウンディング判定は最も安い確認を最初に実行し（ポリシー式はデータベース検索より前）、レイテンシを最小化する。ルールは合成可能で、複数のグラウンディングチェックを異なるソース間でANDし、戻り値フィールドを呼び出し元コンテキスト、リテラル、他の引数、または現在時刻と比較できる。ソースは顧客環境に留まり、認証情報は局所的に解決され、コントロールプレーンに送信されることはない。オプションのコンソールは可視化とルール作成を提供するが、セキュリティモデルはそれに依存しない。ソース検索と認証情報はオンプレミスで残り、許可判定の後にのみツールが実行される。

ActionRailはまた、Action Testsを導入している。期待される動作を、ルールと一緒に実行可能なコントラクトとしてコミットし、本番で使用される同じ判定パイプラインを通じて実行する。これにより、モデルAPIキー、ライブ認証情報、ネットワークアクセスを必要とせずに、許可・保留・ブロック判定をCI内で確認可能にしている。本番デプロイ前に設定のドリフトを検出する実用的な方法だ。フレームワークは現在公開ベータ版で、2026年8月にv1がリリース予定。

まだコメントがありません。最初のコメントを投稿しましょう！