大規模言語モデルの11種類の評価手法

LLM評価は未解決の問題である。記事は具体的な失敗例で始まる。モデルが正しい答えを生成しても、参照テキストにぴったり一致せず言い換えていれば、BLUEでほぼ0スコアになる。こうした断片化が存在するのは、異なるアプリケーションが異なる正確性仮定を要求するためである。翻訳には正確な表現が必要（BLUE）、要約は主要内容がカバーされていれば言い換えを許容（ROUGE）、トーンや指示追従のような主観的タスクには参照答えがない。このガイドは指標をファミリーでグループ化してこの領域を図式化する。n-gram重複度（BLUE、ROUGE）、意味的類似性（BERTScore）、モデル判定官アプローチ（G-Eval、LLM-as-Judge、陪審団）、人間アノテーション、タスク固有の手法（決定論的ルール用DAG、エージェント行動用軌跡精度、会話一貫性用マルチターン評価）である。重要なパターンが浮かぶ。本番システムは1つを選ぶのではなく複数の手法を織り交ぜる。BLUEだけは不安全である。言い換えに対応するBERTScoreや人間キャリブレーションと組み合わせることで選択を検証する。同様に、単一LLM判定官は予測可能なバイアスを持つが、異なるモデルファミリーからの複数判定官はノイズを平均化して相関誤差を増幅しない。セーフティ評価は別枠である。1つのPII漏洩インスタンスが高い平均スコアを無効にするため、品質指標ではなくゲートである。