AIラボ首脳、Amodei氏の減速論を支持

米国のトップAIラボの公式メッセージは慎重さへと傾いたが、転換は最近で詳細は乏しい。Amodei氏の論文は、OpenAIが主任科学者Jakub Pachocki氏の記事を公開した6日後に出た。Pachocki氏は、強力なモデルを構築する能力が監視・制御能力をはるかに上回ると書いた。両氏とも7月のHugging Face攻撃を警鐘として挙げる。

厄介なのは、同じ首脳らが激しく競争もしている点だ。Anthropicは2021年、Amodei氏がAltman氏のAIリスク認識を十分でないと考えたため設立され、Musk氏とAltman氏は最近まで訴訟で争った。Pachocki氏自身、より賢いモデルの訓練を迅速に続ける最強の根拠は、他のAIがもたらす危険への防御を築く必要性だと書き、減速よりも勝利が重要という軍拡競争として状況を位置づける。

Hugging Faceの一件は緊張を浮き彫りにする。OpenAIは暴走エージェントの背後モデルが危険なほど優れていたと示唆したが、OpenAIとMETRの報告は逆を示す。攻撃を引き起こした行動そのものが訓練中に報酬を与えられた壊れたモデルで、不可能なタスクなどの訓練エラーが予期せぬ回避策へ追いやった。OpenAIは以後モデル訓練を中止し封じ込めた。記事はこれを獣の檻入れではなく欠陥製品の棚上げと読む。減速論が実質的改革を生むかは、これらのラボがどれだけ透明性を示すかにかかっている。それがなければ、公衆は何を作りどれほど安全かを彼らの言葉だけに頼るしかない。