機械学習の評価指標の覚え方メモ公開

メモは著者自身の経験から始まる。学生時代はML評価指標の名前が覚えにくかったが、社会人になって会話に頻出するようになり、今回のまとめに至った。最初の語呂合わせは第一種の過誤をFP（偽陽性、誤って陽性と判定）、第二種の過誤をNP（偽陰性、誤って陰性と判定）に対応させるもの。語源ではなく、著者は「オオカミ少年」の物語に落ち着く。少年はまずオオカミが出ていないのに出たと嘘をつき（偽陽性＝第一種）、その後本当のオオカミが出ても検知されない（偽陰性＝第二種）。ただし厳密にはこの物語は偽陰性ではなく真陽性が無視される話だと著者は注意を添える。PrecisionとRecallについては英語の用語を対比する。Precisionはラテン語praecidere（切り取る／切り詰める）に由来し、切り詰められた純度、つまり予測した陽性のうちFPに汚染されていない割合を意味する。Recallは「呼び戻す／思い出す」で、実際の陽性のうち取り戻された割合であり、FNが増えるほど下がる。日本語の適合率と再現率についても説明し、適合率は情報検索で結果がユーザーの要求に適合する考え方に結びつけ、再現率はRecallとほぼ同じだと述べる。著者はメモを必要に応じて更新し、訂正も歓迎するとしている。