AIエージェントの危険操作を実行直前に止めるフック

ここで扱う問題は悪意あるAIではなく、善意のAIだ。足りないパッケージの修正や設定の探索を頼まれたエージェントは、システム全体へのソフトウェア導入、ホームフォルダの探索、動作確認のためのAPI呼び出しを、すべて善意でやってのける。そしてどれも職場のマシンを壊し、プロジェクトの外を覗き、データを漏らしかねない。

投稿者の設計は強制を2層に分ける。ファイルに書いたルールはAIにやるべきでないことと止められたときの振る舞いを伝え、安全フックは実際のツール呼び出しを実行前に検査し、ルール違反なら中止する。フックはフェイルクローズドで、チェッカーが動かない、または何も返さない場合は予防として操作を止める。

チェッカーはツール呼び出しを種類（ファイル読み書き、コマンド、Webアクセス）で分類し、停止理由と対にしたパターンと照合する。その理由はAIに返され、AIはユーザーに操作を依頼する方向へ移ることが期待される。プロジェクト自身の仮想環境内でのpip installなど、一部の操作は意図的に許可し、ブロックしすぎてユーザーがフックを無効化するのを避ける。Webアクセスは自作の小さなMCPサーバーに限定し、GETリクエストのみ、ボディ送信なし、cookieと認証ヘッダーの除去、URLとクエリ長の上限、localhostと内部IPアドレスの拒否、全リクエストの記録を行う。テストはClineと同じ起動方法で49件の判断ケースと11件の実行ケースを網羅し、guard.mjs削除時のフェイルクローズド動作も確認した。