言語モデル評価指標Perplexityの解説記事

Perplexityはしばしばクイズのたとえで説明される。スコア100のモデルはほぼ同等に確からしい約100個の次の単語から選んでおり、スコア10なら候補は約10個に絞られる。Zennの解説記事はこの枠組みから出発し、文の予測確率の幾何平均の逆数という数学的定義へと進む。この定義が重要なのは、語彙サイズがスコアを押し上げる理由を説明できるからであり、異なる単語集合で学習したモデルの比較が危ういことを示す。

解説記事の具体例は差を鮮明にする。3語の日本語文で、各単語を中程度の確信度で予測するモデルは約1.84、各単語に0.1の確率を割り当てるモデルは10となる。それでも、Perplexityが低いからといって自然で有用な出力が保証されるわけではないと記事は強調する。だからこそ実務評価では、この指標を人手による確認やBLEU、ROUGEのスコアと組み合わせることを勧めている。