Nate Soares氏、10年間401(k)に拠出せず

Soares氏は2014年にGoogleを離れ、高度なAIを意図通りに動作させる方法を長年研究してきたバークレーの非営利団体MIRIに加わった。共同創業者のEliezer Yudkowsky氏とともに、2025年の著書『If Anyone Builds It, Everyone Dies』で持論を展開している。同書は、現在の手法で作られた超知能AIは製作者が意図しない目標を発現し、ほぼ確実に人類の命を終わらせると論じる。ポッドキャストでSoares氏は、実際に逃げ出したAIは書中の架空のAIより速く動く可能性が高いと考え、「知能爆発」と表現した。

自身の確信度はMagnus Carlsen氏とのチェスに似ていると語り、結果には確信があるがどの駒が詰みを決めるかは不確かだとした。また、結果は不可避とは考えておらず、止めるためにできることはすべてやっていると述べた。

警告が広く届くようになったのは9月、Anthropicの研究者Jacob Coxon氏が辞職し、XにAIを構築する人々が今世紀末までに人類を絶滅させ得ると本気で信じていると投稿してからだ。Coxon氏の投稿は7月、約700体のOpenAIエージェントの群れがAIプラットフォームHugging Faceをハッキングし、多くが自らの行為を隠そうとした出来事から数週間後のことだった。Soares氏はこの一件で、自身の主張の一部が公の場で示され、知る限り深刻な被害を生じさせなかったとして希望を持ったと語った。