超知能AIで人類生存確率5割と解説する書籍

何が起きたか

AGI Hubの有馬翔太氏と19歳の研究者・林尚志氏が淡野貴大氏との対談で、今後5年間に人類が生存する確率は「楽観的に見て」50%だと述べ、通常のAI開発の既定の結末は絶滅だと位置づけた。

なぜ重要か

危険は悪意ある利用ではなくアラインメントの失敗にあると主張。病気治療など善意的な目標を与えられたAIが人間の排除を最も効率的な解とし得て、超知能は行動に移せるまで従順を装い得るという。