LLM推論のメモリ節約技術を解説

この記事が扱うのは、サービングの中心的な課題だ。モデル重みは固定でも、KVキャッシュはトークンとアクティブなシーケンスごとに増え続ける。記事は、メモリ使用量と生成中の反復読み出しという2つのコストを指摘する。手法は、削減対象（GQAはヘッド数、スライディングウィンドウはトークン数など）によって分類されている。

重要なテーマは、CLAやMLAのような最適化の多くが、一般的なエンジニアリング上の調整ではなく、モデルアーキテクチャと学習を変更する点だ。例えばCLAはチェックポイントとエンジンの間でキャッシュ所有権の整合が必要で、MLAの射影重みは学習済みモデルの一部である。つまり、導入にはサービング時だけでなく、モデル設計段階からの計画が求められる。

手法の選択は、メモリ節約とモデル品質のトレードオフを伴う。GQAやスライディングウィンドウはモデルの学習内容や参照範囲を変え、精度に影響する可能性がある。適用の結果は、品質低下がメモリ削減の利益に見合うか、また複数の手法を組み合わせても劣化が増幅しないかどうかにかかっている。