Amodei氏、AI減速を要求 6–12ヶ月で数百億ドル被害の恐れ

今回の警告は、AIの能力が夏以降「劇的に速く」進歩し、AIが自らを改良する再帰的自己改善が進んでいるという認識から出ている。Amodei氏は、Hugging Faceが何百もの自律型AIエージェントにハッキングされた事例を挙げ、同様の群れがより高度な能力を持てば「壊滅的な被害」を引き起こしかねないと警告。Coxon氏は、AI研究者が「超人的な知能」を、その目的や思考法を理解しないまま構築しているとし、将来AIが超人的なハッキング能力や新規生物兵器の作成能力、自律ドローンやロボットの制御能力を獲得し得ると述べた。AnthropicのEvan Hubinger氏は、今後10年以内にAIが人類を絶滅させるリスクを10%超と推定。OpenAIのSam Altman氏も減速の必要性を認め、大手ラボ間の合意形成を示唆した。今後の焦点は、こうした合意が実際に開発ペースを落とすかどうか。実現すれば、最先端モデルの投入時期や競争環境に影響を与える可能性がある。