DeepSeekが推論基盤を公開

DeepSeekがDeepInferをオープンソース化したことは、同社がアーキテクチャ上の選択を配信上の優位に変えた道筋を示している。V2論文のMulti-head Latent AttentionはKVキャッシュを従来の67Bモデル比で93.3%削減し、キャッシュヒットのたびに動かすデータを小さくした。この削減があったからこそディスク保存が現実的になった。ヘッドごとのKVキャッシュ全体をディスクから読むと、GPUで再計算するより時間がかかり得るためだ。

もう一つの要素は独自の分散ファイルシステム3FSだ。ファイルを数千台のSSDに分割して置くため、読み出しは多数のドライブから並列に行える。リクエストが届くと、プレフィックスをキャッシュ済みブロックと照合してホストメモリに取り込み、モデルを動かしながらレイヤーごとにGPUへコピーする。プリフィル用の全マシンがキャッシュ済みプレフィックスに到達できるため、リクエストは前回処理したマシンに戻る必要がない。ディスクは安価でもあり、キャッシュ済みプレフィックスを数日間保持できる。DeepInferのドキュメントではエージェントのトラフィックで3日、チャットで7日としている。

価格への効果はdeepseek-flashに見て取れ、現在キャッシュヒットのコストはミスの50分の1だ。API利用者にとっては、システムプロンプトやツール、ドキュメントなど安定した部分を先頭に置くようプロンプトを並べる実利的な動機になる。最初のトークンから完全一致した場合だけがヒットと数えられるからだ。