AWSは SageMaker HyperPod上で、LLM推論の入力処理と回答生成を分離する「Disaggregated Prefill and Decode（DPD）」機能を実装しました。これにより、長いテキスト入力が他のリクエストの処理を遅延させる問題を解決し、複数ユーザーからの同時リクエストに対して安定した応答速度を実現できます。チャットボットやドキュメント分析などの用途で特に効果的です。
こういう要約が、毎朝あなたのメールに届きます。
無料で登録 →何が起きたか
AWSが SageMaker HyperPod上で、大規模言語モデル（LLM）の推論処理を2つの段階に分離する「Disaggregated Prefill and Decode（DPD）」機能を実装しました。入力テキスト処理（プリフィル）と回答生成（デコード）を異なるGPUプールで実行することで、長いテキスト入力が他のリクエストの処理を遅延させる問題を解決します。
なぜ重要か
チャットボットやドキュメント分析など、複数のユーザーから同時に長いテキスト入力を受け取るサービスでは、従来の設定ではプロンプトが長いほど他のリクエストの応答速度が落ちていました。DPDはこうした遅延を根本的に排除し、安定した応答体験を実現できる可能性があります。
注目点
DPDはHyperPod Inference Operator バージョン3.2以降で利用でき、複数の同時リクエスト・4,096トークンを超える長いプロンプト・ストリーミング応答が求められるワークロード向けに設計されています。EFA（Elastic Fabric Adapter）対応のP5・P6インスタンスファミリーが必要です。
LLM推論は「プリフィル」と「デコード」という2つの異なる処理段階から構成されています。プリフィルは入力テキスト全体を一度に処理して中間データを生成する計算集約的な段階であり、デコード は1トークン（単語の最小単位）ずつ回答を生成するメモリ集約的な段階です。従来、これら2つの段階を同じGPU上で実行していたため、長いテキスト入力が到着すると、プリフィル処理がGPUを独占してしまい、他のリクエストのデコード処理が待機状態に陥り、応答遅延が生じていました。
DPDは入力処理（プリフィル）と生成処理（デコード）を物理的に異なるGPUプール上で実行することで、この競合を根本的に回避します。インテリジェントなルーター（制御層）が各リクエストのテキスト長を判定し、4,096トークンを超える場合はプリフィル専用ノードに送り、その後デコード専用ノードで生成を進めます。短いテキストはデコードノード直結で高速処理され、GPU間のデータ転送コスト（ml.p5.48xlargeで8,000トークン転送が数ミリ秒）は無視できるほど小さいため、長短混在トラフィックでも自動的に最適化が実現します。
まだコメントがありません。最初のコメントを投稿しましょう！
ログインして議論に参加200以上のソースから厳選したAIニュースを毎日無料でお届けします。
無料で始める登録無料・30秒で完了・いつでも解除できます
毎朝1分、AIの要点だけ。
200媒体以上・Email/LINE/Slack 対応
