銀行テレマーケティング、8分類器を交差検証で比較

Bank Marketingデータセットはポルトガルの銀行による直接電話マーケティングキャンペーンのもので、目的変数は顧客が最終的に定期預金に加入したかどうかの二値である。クラスの不均衡が強く、45,211件のうちyesは約11.70%のみで、単純な正解率は誤解を招く。全員にnoと予測するだけで約88.3%の正解率になりながら、関心のある顧客を一人も見つけられないとチュートリアルは示し、代わりにROC-AUCとPR-AUCを使う。

この演習は相関と因果の線引きも行う。学歴、職業、住宅ローン、架電回数で申込率は異なるが、これらのパターンは仮説の出発点であり、どれか一つの要因が決定を促す証拠ではないと強調する。何回電話すべきかといった問いを決めるには、無作為化テストか過去キャンペーンの因果分析が必要だと述べる。

分類器の比較にとどまらず、ワークフローの選択も重視する。リーケージを避けるため分割後に前処理し、不均衡な目的変数には層化抽出とStratifiedKFoldを使い、テストセットは最終評価1回のために取っておく。最も重要な設計判断は、予測がいつ行われるか、その時点でどの情報が本当に利用可能かを定義することだと論じる。