AIの挙動は完全に予測できず、稼働中の監視・制御・改善を

この論考は、個々のプログラムを分析することと、すべてのプログラムを普遍的に予測することの間の、チューリングが引いた区別の上に組み立てられている。著者は、特定のプログラムについては挙動を分析し停止条件を設定できると認める。停止問題が排除するのは、任意のプログラムをカバーする普遍的な予測器だという。そこからAI安全性への実践的な結論を導く。設計と検証は開発者が想定できる挙動の範囲しかカバーできないため、想定外の状況は想像力の欠如ではなく前提として扱うべきだ、と。

後半は比喩に移る。人間関係でも、信頼する人が何をするか完全には予測できず、完全にリスクのない関係はないと著者は指摘する。それでも人はつながりを求め、共に暮らし、協力し、社会を築く。同じ問いをAIにも向ける。挙動を完全に予測できず、あらゆる危険を事前に取り除けないなら、人に対するように信頼を築けるのか、それとも機械には信頼と安全を別の形で考える必要があるのか。論考は答えではなく、その開かれた問いで終わる。