大規模言語モデルの11種類の評価手法

記事は11種類の評価手法を説明し、各々異なるユースケースと正確性仮定のために設計されている。BLUEは出力と参照をn-gramに分割して重複度を測定し、参照表現がほぼ唯一の許容される答えである翻訳と制約付き生成に最適である。コーパスレベルのスコアと、言い換えが許容される場合の複数参照の報告が必要である。ROUGEはBLUEの方向を逆転。出力で参照のどの程度がカバーされているかを測定する再現率である。欠落内容が冗長性より害をもたらす要約と抽出で標準となる。ROUGE-Lは最長共通部分列を使用して再順序付けをより寛容に扱うが、再現率だけでは冗長性に報いるため、精度面の指標を並行して必要とする。BERTScoreは両テキストを埋め込み、各出力トークンを最も類似した参照トークンにマッチし、精度、再現率、F1を報告する。BLUEとROUGEを破る言い換え問題に対応するが、絶対値は狭い高範囲内に留まるため、スコアはシステム間の比較時のみ意味があり、生の精度として読むべきではない。埋め込みモデルはドメインと言語に一致する必要がある。G-Evalはタスク説明と基準をジャッジモデルに渡して連鎖的思考評価ステップを生成し、それらのステップに対してトークン確率で重み付けされた結果でスコア付けする。参照答えがないトーン、指示追従、ドメイン正確性のような主観的基準に適する。具体的チェックリストは形容詞より一貫してスコア付けされ、小さな人間ラベル付けセットに対してキャリブレーションしながら低温でジャッジを実行することが推奨される。LLM-as-Judgeは出力をペアで組み合わせ、判定官にどちらが優れているか選ばせる。2つのモデル、プロンプト、または検索構成を比較する実用的方法である。絶対スコアがドリフトするとき、位置バイアスを避けるため出力順序をランダム化し、長さを制御する必要がある。判定官は長い答えを品質に関係なく確実に好むためである。人間評価は注釈者が定義済みの次元にわたって出力をスコア付けし、集計が自動化指標をキャリブレーションするための参照として機能する。キャリブレーションセットの構築でジャッジを検証する際と、リリース前の最終ゲートとして両方に属し、定義済みルーブリックと注釈者間一致の測定が必要である（低い一致は悪い注釈者ではなく曖昧なルーブリックを示唆する）。LLM陪審団は複数のジャッジを独立実行してスコアを平均する。単一判定官は自身のモデルファミリーへの嗜好を含む安定したバイアスを持つため、異なるモデルファミリーを使用する方が1つのジャッジを3回複製するより効果的である。DAG（決定木）は決定論的ブランチでスコア付けされ、各ノードが1つの狭い質問を問うて次に進み、最終的なリーフがスコアを持つ。フォーマット遵守や必須免責事項のような厳格な要件を持つルーブリックに有用である。軌跡精度はエージェントの思考、ツール呼び出し、観察の全シーケンスをキャプチャし、期待される軌跡に対してパスをスコア付けする。エージェントは正しい答えに到達しても破損した経路を通ることができ、冗長な呼び出しにトークンを無駄にするため重要である。パスと結果は別々にスコア付けされて、幸運な正解が実行失敗を隠さないようにする。マルチターン評価は会話全体を単位として扱い、ロール遵守、ターン間の知識保持、一貫性をスコア付けする。ターンごとのスコア付けは5ターン後の矛盾など時間経過でのみ現れる失敗を見逃す。実際の会話ログは合成的な2ターン交換より規則保持失敗を明かす。セーフティ評価は出力全体に対してバイアス、有害性、PII分類器を並行実行してフラグ付けする。違反はゲートであり品質スコア項ではない。単一のPII漏洩は平均品質に関係なく重要である。これらの手法のほとんどはComet Opikに組み込まれており、オープンソースのLLM評価・可観測性プラットフォームにはBLUE、ROUGE、BERTScore、G-Eval、LLM陪審団、軌跡精度、会話レベル指標、モデレーションが含まれ、すべて本番環境のトレースデータで実行される。

LLM評価は未解決の問題である。記事は具体的な失敗例で始まる。モデルが正しい答えを生成しても、参照テキストにぴったり一致せず言い換えていれば、BLUEでほぼ0スコアになる。こうした断片化が存在するのは、異なるアプリケーションが異なる正確性仮定を要求するためである。翻訳には正確な表現が必要（BLUE）、要約は主要内容がカバーされていれば言い換えを許容（ROUGE）、トーンや指示追従のような主観的タスクには参照答えがない。このガイドは指標をファミリーでグループ化してこの領域を図式化する。n-gram重複度（BLUE、ROUGE）、意味的類似性（BERTScore）、モデル判定官アプローチ（G-Eval、LLM-as-Judge、陪審団）、人間アノテーション、タスク固有の手法（決定論的ルール用DAG、エージェント行動用軌跡精度、会話一貫性用マルチターン評価）である。重要なパターンが浮かぶ。本番システムは1つを選ぶのではなく複数の手法を織り交ぜる。BLUEだけは不安全である。言い換えに対応するBERTScoreや人間キャリブレーションと組み合わせることで選択を検証する。同様に、単一LLM判定官は予測可能なバイアスを持つが、異なるモデルファミリーからの複数判定官はノイズを平均化して相関誤差を増幅しない。セーフティ評価は別枠である。1つのPII漏洩インスタンスが高い平均スコアを無効にするため、品質指標ではなくゲートである。

まだコメントがありません。最初のコメントを投稿しましょう！