AIの「確率90%」は正解率ではないと解説

記事は標準的な画像分類器が確率を出す仕組みを辿る。生のクラススコアがSoftmaxを通って合計1になり、学習ではワンホットラベルに対してCross Entropyを最小化する。この過程だけでは、出力が実世界の信頼できる頻度になるわけではない。著者はGuoらの発見を挙げ、深層ニューラルネットワークが必ずしも良好に較正されるとは限らず、深さ・幅・正則化・Batch Normalizationが較正に影響し得ること、それを測るのがECEであると指摘する。一方でECE自体にも、確信度のビンの区切り方に敏感といった限界があると注記する。

より深い問題は定義に関わる。画像に猫と犬が両方写っている場合、100人に尋ねれば60人が猫、40人が犬と答えるかもしれないが、データセットには「猫」という単一ラベルしか付いていないことがある。著者は、だからといってそうした画像が常に60:40に分かれるわけではないと慎重に述べ、この人間の回答分布との不一致を通常のECE劣化と混同すべきではないとする。ECEは与えられたラベルに対する較正を測るものだからだ。

同じ論理はLLMにも拡張される。日本の最も有名な大学を確信度付きで尋ねると、ChatGPTは「東京大学 — 確信度：95%」と返したが、著者は「有名」が国内での認知度、世界的な認知度、研究水準のいずれを意味し得るため正しさを一意に評価できないと指摘する。Coleらは、曖昧な問いでは複数の生成回答間の一致を見ることがモデルの尤度と並んで有効だと発見したと引用される。結びの警告は、AIのパーセントは正しさとして直接読むのではなく「何の90%か」と問うべきだというものだ。