AIに仕事を任せられる範囲を検証

この連載は、AIが「質問に答えるもの」から「人間から仕事を受け取り、それを実行するもの」へ移りつつあるという筆者の認識から始まる。従来の形では、AIの文章を人が読んで判断していたため、誤りが直接システムの状態を変えることはなかった。ツールが付くと、AIはファイルを読み、コマンドを実行し、Webを検索し、APIを呼び出し、データを変更できる。AIエージェントは判断、ツール選択、実行、再判断を繰り返せる。

筆者の枠組みは、AIを信頼できるかという問いは大きすぎるというものだ。人間も間違えるし、それを理由に仕事から人を外す者はいない。重要なのは、どんな仕事を、どんな条件で、誰に任せるかである。だからLabは二つの問題を分ける。AIがどれだけ正しく判断できるかと、その判断をアプリケーションがどう扱うかだ。アプリケーション側ではValidation、Authorization、Access Control、Transaction、Idempotency、Recoveryを挙げ、これらの制御があってもAIの元の判断が誤っていたかという問いは残るとし、後の実験をKnown Answer、Consistency、Claim Verificationへ導く。

筆者は、ある仕事をAIに絶対に任せてはならないとか、便利だからAIは安全だとかを先取りしないよう慎重にし、仮説、実験、失敗、原因分析、対策、再実験のサイクルを繰り返す。Labが使える委任の境界を示せるかは、一度の攻撃成功ではなく、このループが失敗条件をどれだけ浮かび上がらせられるかにかかっていそうだ。