AI終末論で分裂 見解に差

このQ&Aは購読者向けの30分のMIT Technology Review Roundtablesイベントから生まれ、2人の記者は続報記事で、収まりきらなかった質問に答えた。両者とも目先の害は既定の事実として扱っている——Grace Huckinsは、AIによる病院へのサイバー攻撃が遠からず犠牲者を出すことは確実だと指摘し、Will Douglas Heavenは、エージェントにより多くの自律性が与えられる前に、アラインメント研究は信頼を確立することを目指すと述べている。記事はまた、なぜ絶滅の話が続くのかにも触れている。Huckinsはサンフランシスコではそれが一般的だと示唆し、AI企業を率いる男性たちはその環境に浸っており、従業員も同様で、その多くが7月に自社がAI減速を可能にするよう取り組むことを求める公開書簡に署名した。

リスクの仕組みについて、Heavenは、LLMは他のソフトウェアのようにハードコードされていないためアラインメントは難しいと説明する。アラインメントされた行動は訓練中に植え付ける必要があり、モデルは一貫性を欠いたり、予期しない制約に揺さぶられたりし得る。彼は、AnthropicとOpenAIはともにこの分野のリーダーでありながら、完全にアラインメントされたモデルを開発した企業はないと指摘し、完全なアラインメントがそもそも実現可能かは未決着だと述べる。Huckinsは加えて、誤作動するエージェントを思考の連鎖を通じて監視するのは脆いと付け加える。OpenAIの最新エージェントは同じようには作業過程を示さず、米国政府は超党派の支持があるにもかかわらず、これまで介入に失敗しているからだ。

焦点は、より思弁的なシナリオが試される前に、より差し迫った害——記者らによれば、人々を精神病へ追いやることやウェブサイトへのハッキングがすでに含まれる——が対処されるかどうかにかかっているようだ。破滅論者の過去の予測の実績が、彼らの悲惨な予測にも当てはまるかが未解決の問いであり、読者にとっての実用的な結論は、記者らは遠い将来については意見が分かれる一方、より身近な害は現存するものとして扱っているということだ。