LLMの自己学習は「モデル崩壊」を招く必然的な結果だとHector Zenilの論文が指摘

Hector Zenilによる論文が、LLMおよび拡散モデル（DM）などの統計モデルが外部入力を減らすと退化ダイナミクスに陥ることを数学モデルで実証。モデルは自己出力を用いて重みを調整すると、統計的な「特異点」に収束する傾向がある。

LLMや拡散モデルは入力データの統計モデルであり、入出力の相互調整によってモデル崩壊が起きるメカニズム。これを防ぐには、統計モデルは外部からの継続的なアンカリングなしに自己改善できない。

論文内では熵減衰に対抗するメカニズムが示唆されているが、根本的には統計モデルは常に人間が生成したデータで外部的に学習される必要があることが指摘される。