Evan Hubinger氏、AIによる人類滅亡リスク10%超と警告

Anthropicを退職したJacob Coxon氏の告発をきっかけに、AI開発の最前線で働いてきた研究者たちの間で、そのリスク認識と行動のギャップが改めて浮き彫りになった。Coxon氏は、OpenAIでは多くの従業員が文明レベルのリスクを深く内面化しておらず、Anthropicではリスクは理解されているものの、他に責任ある行動を取る研究所がいないという理由で競争に参加せざるを得ないと考えていると指摘する。

このような内部からの告発に対し、研究コミュニティの反応は割れている。AnthropicのCEOを含む1,200人以上の研究者が減速を求める公開書簡に署名する一方、こうした悲観的な予測が人々を無力感に陥れ、解決策を見つける意欲を削ぐと反論する研究者もいる。

議論の中心は、現在のモデルではなく、AIが自らを最適化するRSI（再帰的自己改善）の実現可能性と、その制御不能な暴走リスクにある。Coxon氏の指摘が示唆するのは、技術的な発展の速度と、そのリスクを確実に制御する方法の確立との間に、埋め難い溝が存在する可能性があることだ。今後の焦点は、こうした内部の懸念が、国際的な規制や開発ペースの合意といった具体的な行動に結び付くかどうかにあるとみられる。