AIToday
大規模言語モデルオープンソースAIAIビジネス・産業Amazon AI Blog掲載日時: 2026年11月18日 10:00

SageMaker HyperPodにNVIDIA Dynamo

LINEで送る
SageMaker HyperPodにNVIDIA Dynamo

3つのポイント

  1. 何が起きたか

    AWSはNVIDIA DynamoのサービングコンポーネントをAmazon SageMaker HyperPod Inferenceにインストールするアドオンを追加した。

  2. なぜ重要か

    独自のカスタムリソース定義やスケジューリングコンポーネントを手動でインストールすることなく、オープンソースのDynamoフレームワークを採用できるようになり、大規模モデルサービングの運用負荷が下がる。

誰に効くかKubernetes上で大規模モデルを運用する企業のAIプラットフォームチームやMLエンジニアは、既に使っているマネージドエンドポイント設定形式を通じてDynamoの分離サービングを利用できるようになり、手作業のセットアップが減る。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

SageMaker HyperPod InferenceでNVIDIA Dynamoをマネージドアドオンとして提供するAWSの新機能は、実際の課題に対応するものだ。GLM-5.3のような大規模モデルは単一インスタンスのメモリを超え、長いプロンプトではprefillとdecodeがGPUを共有するとトークン生成が遅くなる可能性がある。Dynamoの分離アーキテクチャはこうした処理を切り離し、HyperPodはノード間でそれらを実行するためのネットワークとヘルスモニタリングを提供する。アドオンはDynamoのカスタムリソース定義とGroveやKAI Schedulerといったオペレーターをまとめており、ユーザーは使い慣れたInferenceEndpointConfig形式でデプロイするか、既存のDynamoGraphDeploymentを持ち込める。投稿内のベンチマークでは、分離サービングが特定のサービス目標の下で集約型より高いスループットを実現し、2ノード展開でも単一ノードのスループットの大部分を維持したことから、複数インスタンスを必要とするモデルにとってノード境界は大きなペナルティではないことが示唆される。

よくある質問
HyperPod上のDynamoではどのデプロイ方法が使えますか?
自前のDynamoGraphDeployment(DGD)マニフェストを持ち込むか、既存のHyperPod Inferenceユーザーが使い慣れた同じ形式であるdynamoSpec付きのInferenceEndpointConfigを利用できます。
推論エンジンはどれを選べますか?
InferenceEndpointConfigの経路ではvLLM、SGLang、TensorRT-LLMをサポートし、デフォルトではvLLMが使われます。
アドオンはモデルのウェイトをどう扱いますか?
InferenceEndpointConfigの経路では、オペレーターがAmazon S3またはAmazon FSxからウェイトをステージングします。自前のDGDを持ち込む場合は、ダウンロードやマウントを自分で設定します。
Amazon AI Blog元記事を読む
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

OneTrust、AI台帳を継続更新する秋リリース

OneTrustはOneTrust CORIEを基盤とするFall '26リリースを発表し、厳選した基盤モデルライブラリからモデルの関連付けと非推奨指標を継続的に更新するAI台帳を追加した

NEWSiliconANGLE AI2時間前

Reson8、5億パラメータの音声認識モデルを無償公開

Reson8は5億パラメータの音声認識モデルRumble-2-FlashをApache 2.0ライセンスの無償オープンウェイトとして公開した

NEWSiliconANGLE AI2時間前

孫正義氏、Anthropic出資見送りを「僕の失敗」と告白

11月18日の日経「Dialogues on the Future」で、ソフトバンクグループの孫正義氏はAnthropicへの出資見送りを「僕の失敗の一つ」と語った

NEWITmedia AI+2時間前

Cassava Technologies、Nvidia製チップ調達に

Cassava TechnologiesがNvidia製チップ購入のため最大10億ドルの調達を検討

NEWSemafor Tech2時間前

マイクロソフトがAIエージェントで攻撃対抗サービス提供開始

Microsoft Ignite 2026でマイクロソフトは赤・青・緑チームのエージェントを組み合わせ攻撃模擬・検知調査・脆弱性修正を行うMicrosoft Perceptionの一般提供を発表した

NEWPublickey2時間前

Windows Server 2028がパブリックプレビュー公開

Microsoft Ignite 2026でWindows Server 2028のパブリックプレビューが公開され、Microsoft Foundry、Windows ML、vLLM、Llama.cppによるAI推論ホス…

NEWPublickey2時間前
次の記事へApple、3D形状モデルの潜在容量の制約に対処する論文