Nvidiaが線形数学でAIハンドオフコストを削減

マルチモデルAIワークフローはエンタープライズ環境で一般的になっており、複雑さとコストに応じて、タスクが特化した小さいモデルと汎用的な大きいモデルの間を流れる。従来のアプローチ—モデルがハンドオフするたびにゼロから再計算する—は複合的なオーバーヘッドを生む。新しいモデルは質問に答えるための計算リソースが必要なだけでなく、内部状態（KVキャッシュと呼ばれる）全体をそれまでの会話から再構築する必要がある。多くのやり取りを行うエージェント型システムでは、このコストが急速に積み重なり、ドル単位のコストと応答遅延の両方が増加する。

Nvidiaのソリューションは深層学習の再トレーニングを完全に回避する。新しいモデルに前のモデルの状態を「理解」させるのではなく、研究者は線形代数を使ってあるモデルのKVキャッシュを別のモデルに直接マッピングする。キャッシュは本質的に、モデルがこれまでの会話から「学んだ」ことの数学的表現であるため、これが機能する。互換性のあるモデルペアでは、マッピングはパフォーマンスを最大98%保持しながら、素朴な再計算アプローチより2.7～25倍高速に実行される。速度範囲はモデルサイズと会話長の違いを反映しており、より長いコンテキストはより大きなゲインを得る。