Apple研究者がLLM審査員を評価

この論文は、Appleの研究者が関連研究で述べている2つの潮流の交点に位置する。ユーザーの好みを推測する執筆エージェントとしてのLLMと、「明るい」といった表明された好みに生成テキストが実際に合致するかを評価する難しさだ。実験では執筆タスク、生成器と審査員の組み合わせ、評価目的、一般的な推論能力を切り分け、それぞれを人間のラベルと照合した。審査品質がMMLUと弱くしか連動しないという発見は、一般的なモデルベンチマークがパーソナライズされた文体の審査の代理指標としては不十分であることを示唆する。ペア比較の結果は方法論上の論点を加える。どのモデルに尋ねるかだけでなく、審査員にどう尋ねるかも重要だ。最も直感に反する結果は、最強のLLMが人間のラベルに最も忠実ではなかったことだ。著者らは人間の注釈者や弱いLLMが無視する微妙な詳細への過剰な感度に起因すると仮説を立てている。評価においては、能力が高いほど好みをモデル化する対象の人々との一致が高まるとは限らないという注意喚起だ。