PyTorch、evalなしはDropout残存

検証は意図的に組まれていた。入力はすべて1、Linearの重みは単位行列で、非線形性はp=0.5のDropoutだけだった。これにより出力値はDropoutが有効だったかどうかを直接示す。学習時の行では出力に0.0と2.0が含まれ、評価時の行では一貫して1.0だった。

2つの別個のスイッチが区別されている。eval()はtrain(False)を呼び、子モジュールにtraining=Falseを再帰的に設定する。Dropoutはこのフラグを読む。inference_mode()はautogradの記録を対象にしており、PyTorchの同じドキュメントには、モデルを自動的に評価モードにしない旨の注意書きがある。スイッチが独立しているため、requires_gradだけを確認するテストはDropoutが動作したままでも通ってしまう。

推奨される実践は、まず評価モードを設定し、勾配記録を無効にし、評価時に挙動が変わる層を出力テストに含め、モデルやラッパーを更新した際に再実行することだ。