2021年の研究により、超知能型AIを人間が制御することは数学的に不可能である可能性が示されました。

何が起きたか：2021年に発表された研究では、超知能型AIを制御するには人間が理解できる範囲のシミュレーションが必要だが、超知能を理解できない場合はそのシミュレーション作成が不可能であると論じられています。また、AIに「人間に危害を加えるな」といったルールを設定することも、AIが考え出すシナリオを人間が予測できない以上、実現不可能だとしています。

なぜ重要か：Max-Planck Institute for Human Development のコンピュータ科学者 Iyad Rahwan 氏によれば、超知能型AIの安全性を確保する制御アルゴリズムは数学的に使用不可能になる可能性があります。この研究成果は、AIの安全性に関する従来の「ロボット倫理」の議論とは異なる根本的な問題を提示しているとみられます。

注目点：同年、Elon Musk や Apple 共同創業者の Steve Wozniak を含むテック企業幹部らが、人工知能の安全性を検討するため少なくとも6ヶ月間の研究一時停止を求める公開書簡に署名しています。この研究は2021年1月に「Journal of Artificial Intelligence Research」に掲載されました。