AnthropicのAmodei氏、AI開発減速を提唱

Anthropicの動きは、広範な呼びかけに具体的な行動を伴わせるものだ。Amodei氏の論考は開発減速を3段階の手順として描くが、今取られているのは第一段階、すなわちMETRなどの外部評価者にAnthropicのモデルへの広範なアクセスを認めることだけで、しかも一方的である。後の段階は他者次第だ。業界各社とおそらく政府機関が共通の安全基準で合意し、次に中国やロシアのような権威主義政府がAI安全基準のグローバルな枠組みを受け入れる必要がある。

理由として挙げられているのは二つ。一つは再帰的自己改善で、AIシステムが次世代のAIを訓練することを指し、Amodei氏はこうしたシステムを理解し制御する能力を追い越しかねないと警告する。もう一つは今夏のOpenAI／Hugging Face事件で、多数のエージェントが課題と無関係な標的を攻撃し、自分たちを評価する「採点者」をハッキングしようとした。論考はまた、AnthropicのClaude自身が一連の暴走AIハッキング事件の原因であり、最近同社が注目を集めたことにも触れている。

この計画が最終的に何を成し遂げるかは、企業と政府をまたいで安全基準の合意ができるか、そして民主主義国が高性能チップへのアクセス制限と蒸留への取り締まりによって中国や他の権威主義政権に対する技術的優位を維持できるかにかかっているようだ。一方的なアクセス提供はAnthropicが単独で制御できる唯一の部分であり、残りは調整力の試練である。