残差学習で深い層の劣化問題を解消

この論文は2012年のAlexNet以降積み上がってきた謎から出発する。層を重ねるほど精度は向上したが、ある深さを超えると訓練誤差自体が悪化した。深いネットワークは追加層を入力をそのまま通すようにすれば浅いネットワークを常に模倣できるため、これは奇妙だ。著者らは障害が表現力ではなく最適化にあると論じた。確率的勾配降下法が、非線形層を通して一から作らねばならない恒等写像の重みを見つけるのに苦労していたのだ。

この修正は各ブロックが学ぶものを捉え直す。重み付き層は目標出力を直接出すのではなく補正のみを出し、入力はショートカットを通って最後に足される。ブロックにとって何もしないのが最善なら、重みをゼロに縮めるだけでよく、ランダム行列を恒等行列に成形するよりはるかに容易だ。著者らはこれを問題の前処理、つまり解きやすい形に変えることだと述べている。

実験は他の条件を固定して要点を示す。34層の通常ネットは34層ResNetと同じパラメータ数と計算量で、違いはショートカットのみだが、ResNetはImageNetでtop-1が2.8ポイント上回り、訓練誤差も下がる。ショートカットの変種（ゼロ埋め、次元変更時のみ1×1射影、全箇所射影）の比較は0.数ポイント以内に収まり、著者らは追加パラメータが劣化を直すのではない証拠と読んだ。後の研究が糸を引き継いだ。後続研究は正規化と活性化を重みの前に移してショートカット経路を純粋な恒等写像に保ち、別の研究者らは訓練済みResNetから個々のブロックを除いても精度がほとんど落ちないことを見出し、ネットワークが部分的に短い経路のアンサンブルのように振る舞うことを示唆した。