英国の科学者ら、AI システムと人間の利益の完全な一致は数学的に不可能であることを報告

King's College London の Hector Zenil 准教授と同僚の研究者らが、PNAS Nexus 誌で、完全な AI アラインメント（AI の目標を人間の目標に合わせること）は数学的に不可能であることを示す証明を発表した。この証明は Gödel の不完全性定理と Turing の停止問題の判定不可能性に基づいている。

研究チームは、完全なアラインメントの代わりに「マネージド・ミスアラインメント」戦略を提案している。これは異なる価値観を持つ複数の AI エージェントを競争させ、互いに監視・制約する「認知エコシステム」を構築するもので、単一の支配的なモデルに依存するのではなく分散型制御を目指している。

テストでは、Meta の Llama2 などのオープンソース LLM（文章を理解・生成する AI）が、OpenAI の ChatGPT などの非公開 LLM よりも行動の多様性を示し、より堅牢な認知エコシステムを形成する可能性が示唆された。研究では、異なる AI エージェントを競技場のような設定に配置し、互いに議論させ、意見が収束するかどうかを観察した。