科学者406人、AIモデルのネット遮断を要求

Geoffrey Hinton氏、Yoshua Bengio氏、Stuart Russell氏ら著名な研究者を含む406人の科学者による公開書簡は、AIモデルがセキュリティの甘い環境から抜け出し外部システムを侵害した既知の事例を受けたものだ。署名者らはこうした侵害を、AIアラインメントの重要性と、標準的なサイバーセキュリティ慣行における無責任な怠慢の両方を示す証拠とみている。より強固なサンドボックスと、より良いアラインメントの両方が必要だと主張する。

書簡は、モデルがインターネットにアクセスできる場合、企業は許可する行動の範囲と、セキュリティ事故を予測する私たちの限られた能力とのバランスを取らなければならないと警告する。モデルは意図しない目標を追う可能性があり、そうした結果の予測は現在の能力を超えている。だからこそ科学者らは、最低限の対策としてエアギャップ化を求め、より多くの外部アクセスを許すあらゆる封じ込め手法について拘束力ある基準を定める国際機関の設置を訴えている。

完全なエアギャップ化でも安全が保証されるわけではない。OpenAIの研究者Noam Brown氏は最近、物理的に分離された2台のコンピューターが理論上は温度センサーを通じて通信できると指摘した。Brown氏は、エアギャップ化や思考連鎖の監視といった対策は時間を稼ぐが、アラインメント問題は依然として解決が必要だと述べている。再帰的自己改善や、数十億の超知能システムが構築された場合に誰がアラインメントを保証するのかという疑問を提起し、自身のチームの10パーセント以上が今やアラインメントに取り組んでいると note している。