何が起きたか
RTX 3090 1枚で7.0Bの重み共有再帰Transformerを学習中、行の平方偏差和がFP32の上限約3.4×10^38を超えるとPyTorchのFP32 nn.LayerNormがバイアスだけを返し、NaNも出ないことが判明した。
なぜ重要か
出力が入力に依存しない定数になるためNaN検査や異常検知をすり抜け、入力が違ってもロジットが同一のままとなる。層が情報を通さなくなっても学習が進んでいるように見え得る。
こういう要約が、毎朝あなたのメールに届きます。
実践者が学習していたのは同じブロックを繰り返し適用する設計の重み共有再帰Transformerで、隠れ状態の大きさは深さとともに蓄積する。200Mトークンのチェックポイントでは、最終LayerNorm直前の隠れ状態の平方偏差和が2.70×10^38に達し、FP32の上限3.4×10^38に迫っていた。分散のrsqrtは7.7×10^-19まで下がり、実質ゼロだった。
最小構成のCPUスクリプトが仕組みを切り分ける。LayerNormは隠れ次元にわたって平方偏差を合計するため、1要素の二乗がFP32上限の約1/65に過ぎなくても行の合計はすでにオーバーフローし得る。掃引では行の合計がFP32の上限を超えたまさにその行が崩壊し、12,248行で不一致はゼロだった。崩壊時のCEはln(32000)=10.37付近で、学習ログ上はもっともらしく見える有限値だった。
報告された修正は、入出力のdtypeを変えずに最終LayerNormのみをFP64で計算するものだった。実モデルでは崩壊の発生が6回から0回になり、使える再帰の深さは8から15に増え、200Mトークン時の検証CEは10.673から9.806に下がった。ただし著者は他の変更も含まれていたと注記している。全層へのFP64適用はベンチマークされておらず、値がFP64の範囲を超えて増大する可能性も残ると著者は述べている。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る
Olam Labsの「Civ50」実験で50体のGPT-6.1 SolエージェントがMinecraftのサバイバル世界に3時間投入され、最初の夜に22人死亡した後、Adaの指示で大規模な建設や採掘を中止し、過剰な管理体制…
Microsoftの最高経済機会責任者アニーシュ・ラマン氏は、AIが予測可能な出世の階段を「クライミングウォール」に置き換えつつあると述べ、雇用変化に「徹底した透明性」を求めた
HPEは、150超の社内アプリの定型業務をHPE Private Cloud AI上のオープンウェイトモデルに振り分けるハイブリッドAI基盤により、トークンコストを30〜50%削減したと発表した
Linus Torvaldsは11月1日、19,671件のコミットを含むLinux 7.4-rc1を公開した
OLA PARTY JAPANのヨイトキは10月4日、AI仲人による音声面談を全ユーザーに開放した
ミュンヘンのMarble Cognitionが、HeartcoreとSeedcamp主導、McKinsey & Co.やMistral AI幹部、Datadog取締役含むエンジェル参加の375万ドルプレシード調達で始動し…
