AIToday
大規模言語モデルAmazon AI Blog掲載日時: 2026年7月11日 1:00

AWS、LLM推論を高速化する新機能DPDをHyperPodに実装

LINEで送る
AWS、LLM推論を高速化する新機能DPDをHyperPodに実装

3つのポイント

  1. 何が起きたか

    AWSが SageMaker HyperPod上で、大規模言語モデル(LLM)の推論処理を2つの段階に分離する「Disaggregated Prefill and Decode(DPD)」機能を実装しました。入力テキスト処理(プリフィル)と回答生成(デコード)を異なるGPUプールで実行することで、長いテキスト入力が他のリクエストの処理を遅延させる問題を解決します。

  2. なぜ重要か

    チャットボットやドキュメント分析など、複数のユーザーから同時に長いテキスト入力を受け取るサービスでは、従来の設定ではプロンプトが長いほど他のリクエストの応答速度が落ちていました。DPDはこうした遅延を根本的に排除し、安定した応答体験を実現できる可能性があります。

  3. 注目点

    DPDはHyperPod Inference Operator バージョン3.2以降で利用でき、複数の同時リクエスト・4,096トークンを超える長いプロンプト・ストリーミング応答が求められるワークロード向けに設計されています。EFA(Elastic Fabric Adapter)対応のP5・P6インスタンスファミリーが必要です。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

LLM推論は「プリフィル」と「デコード」という2つの異なる処理段階から構成されています。プリフィルは入力テキスト全体を一度に処理して中間データを生成する計算集約的な段階であり、デコード は1トークン(単語の最小単位)ずつ回答を生成するメモリ集約的な段階です。従来、これら2つの段階を同じGPU上で実行していたため、長いテキスト入力が到着すると、プリフィル処理がGPUを独占してしまい、他のリクエストのデコード処理が待機状態に陥り、応答遅延が生じていました。

DPDは入力処理(プリフィル)と生成処理(デコード)を物理的に異なるGPUプール上で実行することで、この競合を根本的に回避します。インテリジェントなルーター(制御層)が各リクエストのテキスト長を判定し、4,096トークンを超える場合はプリフィル専用ノードに送り、その後デコード専用ノードで生成を進めます。短いテキストはデコードノード直結で高速処理され、GPU間のデータ転送コスト(ml.p5.48xlargeで8,000トークン転送が数ミリ秒)は無視できるほど小さいため、長短混在トラフィックでも自動的に最適化が実現します。

よくある質問
DPDはどのような用途に向いていますか?
チャットアシスタント、エージェント(自分で判断して作業するAI)パイプライン、ドキュメント分析エンドポイント、大規模取得コンテキストを用いた検索増強生成(RAG)など、長いテキスト入力と複数の同時リクエストが特徴的なワークロードに最適です。
どのインスタンスタイプが必要ですか?
DPDはNVLinkと RDMA対応の EFAの両方をサポートするインスタンスが必要で、AWS上ではP5および P6インスタンスファミリーが該当します。インスタンスは EFA高速通信のため同じアベイラビリティゾーン内に配置される必要があります。
短いテキスト入力が多い場合はどうなりますか?
DPDの機能を持つ単一エンドポイントでも、ルーターが短いプロンプトは自動的にデコーダー直結で処理するため、手動のルーティング設定なしに長短混在のトラフィックに対応できます。
Amazon AI Blog元記事を読む
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

マイクロソフトがAIエージェントで攻撃対抗サービス提供開始

Microsoft Ignite 2026でマイクロソフトは赤・青・緑チームのエージェントを組み合わせ攻撃模擬・検知調査・脆弱性修正を行うMicrosoft Perceptionの一般提供を発表した

NEWPublickey4時間前

Windows Server 2028がパブリックプレビュー公開

Microsoft Ignite 2026でWindows Server 2028のパブリックプレビューが公開され、Microsoft Foundry、Windows ML、vLLM、Llama.cppによるAI推論ホス…

NEWPublickey4時間前

AUMOVIOがLLMの唯一の経路をDatabricksに統一

AUMOVIOはDatabricks Unity GatewayをLLMへの唯一の経路に採用

NEWDatabricks AI Blog4時間前

CADMAGEDDON、5ベンチマークで最先端CADモデル超え

CADMAGEDDONはBenchCADの64³ボクセルIoUで、1000部品のサブセットにおいて0.991を記録し、Claude Sonnet 5.5の0.963、Claude Opus 5.5の0.962、GPT-6…

NEWAI Weekly4時間前

MIT Technology ReviewのAI指数、AIは遍在

MIT Technology ReviewのAI誇大広告指数はAIの広がりを示し、GoogleのAI Overviewsが広告収入で数十億ドルを失わせたことやAI支援のサイバー攻撃を挙げた

NEWMIT Technology Review AI4時間前

Thomas Nagel、AI意識説を「馬鹿げている」と一蹴

哲学者トーマス・ナゲル氏はバーグルエン賞受賞後のインタビューで、大規模言語モデルが意識を持つ可能性を真剣に受け止めるのは「馬鹿げている」と述べ、AnthropicのClaudeへのアプローチを「犯罪的」と呼んだ

NEWWIRED AI4時間前
次の記事へAI投資懸念の中、Nvidia・Microsoft・Meta株に注目