オープンLLM公開モデルの52.6%で埋め込みがほぼゼロ

この発見はオープンウェイトLLMリポジトリ291件、280の異なる埋め込みテーブルを対象とした調査に基づく。非共有のゲート付き・ハイブリッドチェックポイント38件のうち20件がノルム10−6未満の入力埋め込みを持ち、重み共有モデルは影響を受けなかった。この頻度は、欠陥が孤立した事例ではなく、これらのアーキテクチャのチェックポイント全体に繰り返し現れるパターンであることを示唆する。仕組みは、ほぼゼロのトークン埋め込みが逆伝播勾配を30桁以上増幅させ、個々の要素が1.84 × 1019を超えることで、勾配クリッピングがオーバーフローし更新を黙って破棄するというものだ。Nemotron-3-Nano-4Bのテルグ語継続事前学習では、トレーニングステップの約20%で更新が破棄され、実際の影響が示された。著者らはGroupClipとGateFloorの2つの修正を提案し、最大3億7000万パラメータの実験で問題のある勾配を28桁削減しつつ、未修正のベースラインと同等のパープレキシティを維持した。これらの結果は簡明な緩和策を示すが、頻度の数字は、これらのアーキテクチャで継続事前学習を行う前に埋め込みノルムを監査する価値を強調している。