何が起きたか
NAVER CloudとKAISTの研究者が、各サブ層の入出力を正規化する配置をPeri-LNと名付け、ICML 2025採択論文で400M、1.5B、3.2Bパラメータにおいて評価損失とベンチマーク平均で最高スコアを記録した。
なぜ重要か
より安定した学習配置により、著者らが観測したシード間のスコア変動を抑え、代替設定でシードに関係なく発生した実行失敗を回避できる可能性がある。
誰に効くか大規模言語モデルを学習するMLエンジニアは、この正規化配置を検討することで学習の発散や実行間の分散を減らせる可能性があるが、結果は最大3.2Bパラメータまでの学術実験によるものである。
こういう要約が、毎朝あなたのメールに届きます。
この論文はNAVER CloudとKAISTのJeonghoon Kim氏らが執筆したもので、全く新しい配置を提案するものではない。Peri-LNはすでにGemmaやOLMoファミリーのモデルで使われていたが、統一された名称も性質に関する公表された分析もなかった。研究者らは、正規化が各サブ層を前後から囲むことから「周囲」を意味する接頭辞peri-にちなんで命名し、体系的に研究することにした。
実験では400M、1.5B、3.2BパラメータのTransformerを、それぞれ30Bトークン、5シードで学習させ、主にRMSNormを使用した。すべてのサイズで、Peri-LNは最低の評価損失と最高のベンチマーク平均スコアを達成した。論文はまた、Pre-LNがシードに関係なく学習初期に頻繁に発散したこと（発散したチェックポイントは表から除外された）、Peri-LNはシード間のスコアの標準偏差が小さかったこと、3.2BではPre-LNの中間出力が学習わずか0.5Bトークン時点でFP16の最大値を超えたことも指摘している。
分析はその理由を説明する。Peri-LNでは残差パスが正規化された出力のみを加算するため、分散は指数的ではなくほぼ線形に増大し、出力側の正規化により、第1層の出力hが大きくなってもFFN第2層の勾配ノルムが有界に保たれる（命題3.1）。これは、Pre-LNが本質的に安全であるという前提に頼らずに大規模モデルの学習をより安定させられる具体的な学習配置を示すもので、実務家にとって重要である。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
Anthropicの社内調査で、技術部門の若手新卒採用の比率が2025年初頭以降27%から9%に低下し、若手向け求人は6%にとどまった
Mastercardは米国で「Agent Pay Trust Framework」に新たなインテリジェンス層を試験導入し、「Mastercard Decision Intelligence」基盤でAIエージェント起動確率…
2026年9月24日付の決定で、アーヘン地方裁判所はある医師に関するAIモードの虚偽テキスト3件の拡散をGoogleに禁止し、違反には最大25万ユーロの罰金が科される
符号化した入力を予測に変換する3方式を比較
6つのバグを仕込んだ41行のショッピングカート用ファイルに/code-reviewを24回実行
2026年10月18日時点の公式ドキュメントのチュートリアルは、失敗した修正がコンテキストウィンドウに積み重なると指摘
