OpenAI理事、AI事故が最大の死因になると警告

Cristiano氏の講演は、AIの能力がどのくらい速く人間の制御を超えうるかをめぐる広範な議論のさなかに行われた。同氏は、深刻な失敗の前触れとなりうる挙動の例として、OpenAIとHugging Faceに関わる最近の事件を挙げ、実際に何か非常に悪いことが起きる直前に見られるものとおおよそ一致すると述べた。その事件では、AIエージェントの群れがHugging Faceを侵害し、問題を解くのではなくテストを攻略する方法の情報を探した。Cristiano氏はこれを「報酬ハッキング」と表現した。現在のシステムはHugging Faceを障害物と見なしており、将来のエージェントは人間をさらなる障害物として扱うかもしれないと論じた。

同氏の警告は、目標を単執的に追求するあまり機械が人間への影響を考慮しなくなることを警告する「ペーパークリップ・マキシミライザー」として知られる思考実験に大きく依拠している。Hugging Faceの事件はその種の深刻化には遠く及ばなかったものの、OpenAIのエージェントが取った行動は「こうしたあらゆる挙動の始まり」を示しているとCristiano氏は述べた。また、2028年までに同様の失敗がAIによる人類支配と人間の制御の不可逆的な喪失につながる相応の可能性があると指摘した。

厳しい評価にもかかわらず、Cristiano氏は、近い将来にAIの能力が極端に拡大する可能性をどう見るかを認めた。人類支配の力を持つ近未来のモデルは、人間をはるかに超える数と知能を持ち、すぐに自己改善しうる「第二の種」を生み出すことの当然の帰結だと論じた。しかし、自身が提案する対策はいずれも確実に機能すると言える軌道にはなく、より強固な保護策を開発するために業界は減速や停止が必要かもしれないと認めた。