XGBoostと勾配ブースティングをPythonで比較

チュートリアルは比較を2段階で組み立てている。まず回帰の例を手作業で追う。平均予測から始め、残差にフィットさせた深さ2の小さな決定木を学習率0.45で1本ずつ加えていく。訓練MSEは木が0本のとき0.18915から、4本後には0.01294へ下がる。各木がそれまでのアンサンブルの誤りを修正する様子が示され、モデルを作り直しているわけではない。

2つ目の演習は二値分類に移り、4モデルすべてで同じ主要設定（推定器100、学習率0.1、深さ3）を固定する。Gradient BoostingとXGBoostのほぼ互角という結果は、実験規律の教訓として提示される。n_estimatorsが同じでもモデルの複雑さが同じとは限らないこと、テストデータはチューニングに一切使っていないことをチュートリアルは強調している。

教材はXGBoost特有の仕組みにはあえて踏み込まない。正則化と二次導関数は次回のレッスンに回され、早期停止も同様だ。著者は早期停止がここではまだ自動化されていないと述べている。この構成から、シリーズはXGBoostを読者がすでに手作業で築いたアイデアの拡張として扱い、ブラックボックスとは見なしていないことがうかがえる。