AIエージェントの確認要否を分類で自動決定

この設計は、チャット常駐型エージェントにツール実行権限を与えれば避けられないと開発者が指摘する問題から出発している。すべてを確認するとユーザーが疲弊し、内容を読まずに「はい」を押すようになり、プロンプトが安全装置として機能しなくなる。答えは確認を減らすことではなく、操作をfreely_reversible、reversible_with_cost、irreversibleに分類し、APIが許すかどうかではなくユーザーに見える形で可逆性を判断することで、確認を少数かつ意味あるものにすることだ。

第2の軸は影響範囲、つまり操作がユーザー自身だけか、チームか、外部世界かに及ぶかどうかである。可逆性と組み合わせると、確認を事前に固定するマトリクスが得られ、新しいツールの追加は個別に議論するのではなく2つの分類を設定するだけで済む。確認が必要なときは、宛先アドレスや対象チャンネルなど、実行の瞬間にしか見えない詳細を提示すべきだ。

繰り返し作業が疲労に逆戻りしないよう、第4のパターンでは承認済みの操作と対象のペアを信頼済みパターンとして記録し、次回は確認を省略または軽減する。対象やその可視性が変われば完全なプロンプトに戻る。開発者はこれを、エージェントが持つツールを制限することと相補的だと位置づけている。権限設計はエージェントが何をできるかを決め、確認設計は操作が取り消せなくなる直前に人間がいつ介入すべきかを決める。