OpenAI論文 偽情報は評価制度のせい

論文はハルシネーションの2つの大きく異なる説明を区別している。1つは構造的なものだ。誕生日のように学習データに1度しか出ない事実はパターンから推論できないため、著者らはそうした種類の事実に関する誤りの一部は統計的に避けられないと論じる。もう1つはインセンティブに関するもので、著者らはこちらをより重要とみなしている。

教室でのたとえは率直だ。4択問題では、でたらめな推測でも4分の1の確率で当たるが、「わからない」と書けば確実に0点になる。二値採点の下では、どんな信頼度でも答える方が常に得だということを著者らは数学的に示す。SimpleQAの数値は同じ点を実践で示しており、2つのモデルの精度が近いにもかかわらず対照は際立っている。

提案された修正は計算を変え、不確実な推測の期待値を負にする。これにより初めて正直さに見返りが生まれる。それが実現するかはベンチマーク作成者が採点規則を書き換えるかにかかっており、論文の著者らは勧告をモデル訓練だけではなく主要な評価指標そのものに向けている。