Apple、データ制約下の事前学習は混入が優位と発表

この研究は一般的な問題を扱っている。ほとんどの言語では、事前学習はデータ制約下で行われ、モデルは訓練データを何度も繰り返すため汎化が劣化する。対策は2つある。高い重み減衰などの積極的なハイパーパラメータ調整は重みを縮小してネットワーク容量を制限する。高リソース補助言語のデータを混ぜる方法は訓練分布を広げる。

研究者は約1000回の事前学習を実行してこの2つを比較した。混入の優位はモデル規模とともに拡大し、ターゲット言語の検証損失は混入の価値を系統的に過小評価することが分かった。検証損失は正則化効果しか捉えず、繰り返されるターゲットコーパスが供給できない知識を反映しないからだ。