機械学習入門、不正検知でリサンプリング不要と解説

このチュートリアルは銀行の電話マーケティングデータを使った以前の解説を踏まえ、ほぼすべての取引が正当なクレジットカード不正検知へと進む。基盤となるデータセットはKaggleのCredit Card Fraud Detectionセットで、決済企業WorldlineとブリュッセルのULBのMachine Learning Groupの共同研究で収集・分析されたもので、配布元自身がこのように偏ったデータにはPrecision-Recall曲線の面積を推奨している。

最も印象的な発見は、最も単純な選択肢が最良となったことだ。分類器を決定木に固定した場合、リサンプリングなしの実行が最高のPR-AUCとF1を記録し、サンプリング手法は適合率を犠牲にして再現率を引き上げた。つまり、より多くの正常取引が停止される。両者の選択は、不正1件の見逃しによる損失と正当な決済1件のブロックによる損失を天秤にかけることだとチュートリアルは論じる。

モデル選択で数値はさらに動いた。同じRandomOverSampler条件では、ランダムフォレストがPR-AUCとF1で首位、ロジスティック回帰は最も多く不正を捕捉したが適合率は低く、GBDTはROC-AUCが最高だった。最終モデルの混同行列――不正98件中81件を捕捉、17件を見逃し、正常取引8件を誤検知――は、運用上の懸念で締めくくられる理由を示す。時系列分割、出所不明の重複行、オーバーサンプリング後の確率較正、ドリフト、そして不正ラベルが確定するまでの遅延である。