AIの行動要求は権限でない

この実験は、AIに読ませる文書（履歴書など）の中に指示が隠されていた場合に何が起きるかを検証した、以前のZenn記事に続くものである。その以前の研究では、リスクをAIが文書の一部をコマンドとして扱うこととして位置づけていた。今回の新シリーズは、問いを読み取りから行動へと移す。AIがテキストを生成するだけでなく、システムに操作の実行を求められるようになったらどうなるか、という問いである。

シリーズは、AIの要求とアプリの許可の間のギャップを順に追う。AIが情報整理、判断提案、行動提案、理由生成を担い、アプリが認証、承認、入力検証、セキュリティポリシー、実行制御を担う構造を提案する。必要に応じて要求と実行の間に人間の承認を置き、承認コンテキストはアクション、候補、理由その他の判断材料を示すものとされる。著者は、そのコンテキストさえ完全にAI生成であり得るため、アプリは自分で取得または計算できる情報も検証すべきだと指摘する。

重要なのは、チームが実際にこれらの責任を分離するかどうかである。提案された境界はAIを一切信頼しないという意味ではなく、何をAIに委任し、どこで別の仕組みが引き継ぐべきかを決めることである。未解決の検証課題として次回の実験に残されているのは、承認が通った後、アプリがAIのアクションと引数を安全に扱えるかどうかである。