
何が起きたか
AWSはプレフィルとデコードを分離するvLLM推論でKVキャッシュ転送をプッシュ型に変える「NixlPushConnector」を公開した。
なぜ重要か
従来のプル型は転送準備がデコード側の処理を止めていたが、プッシュ型は準備をバックグラウンドに逃がす。大量リクエスト時の応答遅延を抑えたい運用者にとって選択肢になる。
誰に効くかLLMを自社で運用し、チャットや生成AIサービスの応答速度を管理するインフラ担当者やMLエンジニアに影響する。特に高いリクエスト率で長い入力を扱う構成では、TTFTとTPOTの改善が体感品質に直結するとみられる。
こういう要約が、毎朝あなたのメールに届きます。
vLLMのプレフィル・デコード分離は、各フェーズを独立にスケールできる一方、KVキャッシュの転送が最初のトークンまでの遅延に直結する。従来のNIXLコネクタはプル型で、プレフィル完了後にルーターがメタデータを中継し、デコード側が転送準備をしてから読み出すため、これらの工程が直列に並んでいた。
プッシュ型は、デコード側がブロックを確保した時点で事前登録し、プレフィル側が計算を終え次第NIXL WRITEで書き込む。転送準備はバックグラウンドスレッドに移り、デコード側のトークン生成を妨げない。AWSはまずTrainiumクラスタで検証し、アクセラレータ非依存の機能としてvLLMに貢献した。GPU環境でも効果が引き継がれることを示した点が特徴である。
トレードオフとして、プッシュ型はデコード先を早く選ぶため、負荷分散ルーティングの柔軟性は下がる。AWSは今後、プル型にもバックグラウンドのNIXLスレッドモデルを適用する検討を進めており、プル型利用者への波及可能性がある。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る
Microsoft Ignite 2026でマイクロソフトは赤・青・緑チームのエージェントを組み合わせ攻撃模擬・検知調査・脆弱性修正を行うMicrosoft Perceptionの一般提供を発表した

Microsoft Ignite 2026でWindows Server 2028のパブリックプレビューが公開され、Microsoft Foundry、Windows ML、vLLM、Llama.cppによるAI推論ホス…

AUMOVIOはDatabricks Unity GatewayをLLMへの唯一の経路に採用

CADMAGEDDONはBenchCADの64³ボクセルIoUで、1000部品のサブセットにおいて0.991を記録し、Claude Sonnet 5.5の0.963、Claude Opus 5.5の0.962、GPT-6…

MIT Technology ReviewのAI誇大広告指数はAIの広がりを示し、GoogleのAI Overviewsが広告収入で数十億ドルを失わせたことやAI支援のサイバー攻撃を挙げた

哲学者トーマス・ナゲル氏はバーグルエン賞受賞後のインタビューで、大規模言語モデルが意識を持つ可能性を真剣に受け止めるのは「馬鹿げている」と述べ、AnthropicのClaudeへのアプローチを「犯罪的」と呼んだ
