KLダイバージェンスは逆方向で値が変わる

AIと脳科学の数式を扱うAoki氏の連載第6回で、前回のエントロピーの議論を引き継ぐ。エントロピーは世界そのものの不確かさを表したが、KLダイバージェンスは現実と異なる分布を信じることで生じる余分な情報コストという第二の視点を加える。具体例が抽象的な式を実感させる。自然対数を使うため単位はナットで、どちらの分布を現実とみなして平均を取るかによって二方向の値が異なる。

記事はさらに式を、交差エントロピー＝エントロピー＋KLダイバージェンスという枠組みの恒等式、そして三つの性質へと結びつける。値は負にならない、分布が一致するときのみゼロ、一般に対称ではない、の三つだ。最後の性質のため、KLダイバージェンスは通常の数学的な意味での距離ではない。さらに、信じている分布が起こり得る事象に確率ゼロを割り当てるとダイバージェンスは無限大になるという注意も添えられ、過信したモデルへの警告となっている。

Aoki氏はこの考えを連続分布へ広げ、和が積分になることを示したうえで、三つの応用分野へと進む。統計学ではKLダイバージェンスの最小化は交差エントロピーの最小化と等しく、以前の回で扱った最尤推定につながる。生成AIではVAEの目的関数にKL項が含まれ、学習した潜在分布を事前分布に近づける。神経科学ではKarl Fristonの自由エネルギー原理が、脳が予測と実際の感覚情報をどう比較するかの記述にKLダイバージェンスを用いる。ただし脳が文字通りKLダイバージェンスを計算していると確定しているわけではない。