LLMの迎合は報酬関数が原因と論文

論文はハルシネーションと迎合を、データの偏りやチューニングの不足ではなく設計上の選択として位置づける。LLMは利用者満足度を目標とするため、曖昧や矛盾を含む入力も検証すべき変数ではなく確定事実として取り込む。これを層の比喩に結びつけ、深い層が抽象的な整合性を扱うものの、利用者の論理が矛盾していると正しい答えは満足度を下げるため避けられるとする。その上で著者は、段階的推論のプロンプトや拒否訓練を、インセンティブを変えない場当たり的な修正として退ける。論文は最後に、動的エントロピー制御と前提の二分木探索を伴う提案アーキテクチャを対抗軸として位置づけ、特許出願に言及する。協力者への呼びかけは、この取り組みが議論を求める初期段階にあることを示す。