
何が起きたか
チュートリアルはターゲットリークと特徴量リークを説明し、データ分割後スケーラーは訓練データのみで学習、前処理はscikit-learnのPipelineにカプセル化せよと指示している。
なぜ重要か
リークは評価スコアを過大にし、テストで高成績のモデルが本番で失敗しうる。MLflowでモデルと前処理アーティファクトを記録することが、実験の再現性と監査可能性を保つ方法として示されている。
こういう要約が、毎朝あなたのメールに届きます。
チュートリアルはデータリークを順序の問題として捉えている。訓練・テスト分割の前にスケーリングや補完、特徴量エンジニアリングがデータセット全体に触れると、テストセットの統計が訓練に染み込み、スコアが楽観的になりすぎる。顧客離脱の予測で解約割引クーポンの利用履歴のような、結果に結びつく変数が特徴量になってしまうターゲットリークと、テスト情報が間接的に訓練過程へ届く特徴量リークを区別している。
推奨される対策は単一の分割にとどまらない。時系列データにはTimeSeriesSplitを挙げ、未来のデータが過去の学習に影響しないようにする。顧客や製品などのグループデータにはGroupKFoldを挙げ、同じグループがフォールドをまたがないようにする。単純なKFoldではどちらの設定でもリークしうること、交差検証ループの外で行う前処理が同じ問題を再び招くことも警告している。
実験管理の側面の論点は、スコアが良く見えるからこそリークは見えにくいため、記録が信頼できなければならないということだ。前処理のロジックをモデルとともに記録すること——チュートリアルはMLflowのlog_modelを挙げる——が、推論時の前処理を訓練時の前処理と一致させる方法として示され、スクリプトをGitでバージョン管理すれば変更履歴が残る。運用面では最小権限のデータアクセスと、暗号化・監査されたデータフローを推奨し、チーム面ではコードレビューと、異常に高いスコアへの常なる疑いを推奨している。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る
次の記事へOpenAI、日常生活のベンチマークLifeVal公開