在庫需要モデル、交差検証0.9超でも実需と乖離

このエッセイは書籍のリストではなく、一つの失敗を軸に構成されている。著者はブログ記事とサンプルコードを組み合わせてscikit-learnのモデルを動く形にし、交差検証スコア0.9超を信じて本番投入したが、稼働初週にスコアと実需の乖離が露呈した。診断は、時系列データを分割前にランダムシャッフルしたため未来の情報が訓練側に入り込んだというもので、モデリングの誤りではなく検証設計の誤りである。

4冊は著者が問題に直面した順序に対応して並んでいる。1冊目は前処理、交差検証、パイプラインを扱い、2冊目は理論を短いリファレンスに圧縮し、3冊目はKerasの著者によるCNNとRNNの実装、ラベル付きデータが乏しい場合の対処を扱い、4冊目は2冊目と同じ著者による導入、監視、再訓練を論じる。結びの指摘は、精度を絞り出す知識と壊れないものを作る知識は別物だというものだ。