Laplace 3BをTrainium2で学習

i14はLaplace 3Bを、文脈とともにキーバリューキャッシュが増大し同時実行数や推論コストに影響しうる標準トランスフォーマーモデルの代替として位置づける。ソフトマックス注意をGated Linear Attentionに置き換え、履歴を固定サイズの再帰状態に圧縮する。この独自アーキテクチャをTrainium2に持ち込むには単なる移植以上の作業が必要で、GPU向けに最適化されたTritonカーネルを標準PyTorch演算子で書き直し、Muonオプティマイザの通信パターンをFSDP2上で再設計した。チームは複数の手法を比較した末、性能が良かったためTorchNeuron Nativeのベータ版を選んだ。報告された学習は1,000億トークン中約440億トークン時点で進行中であり、損失は滑らかに低下し勾配も安定していた。推論側では未改変のvLLMエンジンがi14の参照出力とトークン単位で一致し、プロファイリングによりデコード時間は演算やメモリ帯域ではなく演算子ディスパッチが支配的で、コンパイル済みデコードがこれを解消した。これらの結果はTrainium2が標準トランスフォーマー以外のアーキテクチャにも対応できることを示すが、チームは自らのワークロードで検索品質を評価する必要がある。