AIエージェント導入、人間による確認が困難に

何が起きたか

Fortune主催のBrainstorm Techカンファレンスで、DraftKingsのZach Maybury最高技術責任者やSalesforceのLaShonda Anderson-Williams最高顧客・商業責任者ら複数の経営幹部が、AIエージェント導入時の管理課題について議論しました。Mayburyは、AIエージェント同士が直接やり取りする環境では、取引量と複雑性が膨大になり、人間を意思決定に含める従来の方法が通用しなくなると指摘しています。

なぜ重要か

医療など失敗が許されない業界では、AIの誤判断が重大な結果につながります。企業が実験段階から広範な本格運用へ移行する中、従来の「人間がチェックする」アプローチでは対応しきれず、AIの振る舞いを事前に厳密に設計・統制する必要が生まれている、とみられます。

注目点

経営幹部らが有効な対策として挙げたのは、（1）明確なAIガバナンス枠組み（どこでどのように運用するか、誰が責任を持つかを定めたルール）の構築、（2）AIが用いられる状況の性質の判断（答えが決まっている場合は自動化しやすいが、判断が必要な場合は人間の関与が重要）、（3）プロセスの継続的なテストと結果の検証です。