研究者が「長期的自己改善」をAI一時停止の代替案に提案

Alignment Forumへの投稿において、研究者が高度なAIシステムの開発に関連するリスクに対処するための新しい概念的枠組みとして「長期的自己改善」を提案した。この提案は、AI安全性およびガバナンス領域に存在する2つの既存の考え方——「AI一時停止」と「長期的熟考」——に対する代替案として明確に位置付けられている。

著者は「AI一時停止」に関して自分たちが見ると考える重大な欠陥を特定している：この概念は、ある将来の日付までAI開発を一時停止することが安全なAI展開の条件を作り出すと仮定しているが、根本的な問題に答えられていない——いつまで一時停止し、どんな目的のためか。さらに重要なのは、著者は実際の根本的な問題はタイミングの問題ではなく、人間の準備状態の問題であると主張していることである。具体的には、人間は現在安全でなく、強力なAIシステムの建設者、監督者、または倫理的な参照点（「整合対象」）として確実に機能することができないという論拠が成り立つ。

この提案は同様に「長期的熟考」を批判し、それが過度に楽観的な仮定に基づいていると主張している：安全なAI開発への主な障害は、単に人間が問題について注意深く考える十分な時間がなかったことであるということである。この見方によれば、人間がより深く熟考するか、または整合した人工知能システムから思考支援を受けたいずれかであれば、安全性の懸念は解決されるだろう。著者はこの診断に異議を唱え、人間の欠陥はより基本的であり、熟考または外部の認知支援だけでは改善できないと示唆している。

両方の枠組みに代わって、「長期的自己改善」は人間が現在あまりにも欠陥があり——特定されていないが複数の方法で——極めて強力なテクノロジーを安全に構築または監督することができないと主張している。この提案は、そうしたシステムの開発に先立つ、人間の自己改善の長期的プロセスが必要であることを示唆している。記事の抜粋は著者が論拠を完成させる前に終了し、この「長期的プロセス」のメカニズムと範囲は続きで詳述される予定である。

この提案はAIガバナンス言説に確立されている2つの枠組みと関わっている。「AI一時停止」は、高度なシステムを展開する前に安全研究のための時間を稼ぐ方法として支持されてきたが、著者は論理的な隙間を特定している：一時停止は問題を先延ばしにするだけで解決せず、人間が依然としてそうしたシステムを監督するのに適さないという根本的な問題に対処していない。同様に、「長期的熟考」は、人間による拡張的な協議、またはAI支援の思考により安全性の懸念が解決されると示唆している——著者は、問題となっている人間の欠陥は単に時間や情報の不足の問題ではなく、積極的な自己改善を必要とする構造的問題であると主張することで、この楽観的見方に異議を唱えている。

したがって「長期的自己改善」の枠組みは、問題の焦点をAI開発のペースまたは人間の協議の質から、人間自体の道徳的かつ実際的な準備状態へと移行させている。この再方向付けは、安全な強力なAIのより根本的な前提条件を示唆している：人間の改善は、そうしたシステムが構築される前に取り組まれるべき積極的で拡張的なプロジェクトでなければならない。

まだコメントがありません。最初のコメントを投稿しましょう！