AIToday
AIビジネス・産業Amazon AI Blog掲載日時: 2026年11月7日 4:00

SageMaker InferenceがGPU分割に対応

LINEで送る
SageMaker InferenceがGPU分割に対応

3つのポイント

  1. 何が起きたか

    Amazon SageMaker InferenceがNVIDIA Multi-Instance GPU(MIG)によるGPU分割に対応した。物理GPUを最大7つの分離パーティションに分割できる。

  2. なぜ重要か

    GPU数より多くのモデルを単一エンドポイントでホストでき、ハードウェアによる分離も確保される。新しいアクセラレータを丸ごとではなく一部だけ選べるため、容量不足や過剰プロビジョニングに対応できる。

誰に効くかSageMakerでマルチモデルエンドポイントを運用するMLプラットフォームチームや推論エンジニアは、モデルごとにアクセラレータを丸ごと占有する代わりに、小さなモデルをハードウェア分離されたGPUスライスに詰め込めるようになる。Kubernetesを管理せずに利用率を高められる可能性がある。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

SageMakerの新しいGPU分割は、1つのエンドポイントに複数モデルを配備し、各モデルに割り当てる演算資源を設定する仕組みである推論コンポーネントを基盤とする。パーティションは、推論コンポーネントがCPUやメモリを要求するのと同じ場所で要求するリソースであり、分割はエンドポイントのプロビジョニング時に行われる。検証では、アクセラレータの分割によりプロビジョニングに約17秒が加わり、残りの時間は通常のインスタンス起動とコンテナのプルだった。

この機能はよく知られたトレードオフに対処するものだ。これまで、アクセラレータより多くのモデルを抱える顧客は、大規模なエンドポイントでより強くバッチ処理するか、分離なしでGPUを共有するマルチモデルエンドポイントを使うか、MIGは動くもののドライバーのバージョン管理やパーティション設定、フリート全体の整合性維持といった作業が伴う自前運用のKubernetesへ移るかの選択を迫られた。分割はマネージドエンドポイント上でこうしたプラットフォームの負担を取り除くが、限界もある。パーティションの最大数は7を超えず、レイアウトはエンドポイント作成時に決まり、複数GPUを必要とするモデルには依然として丸ごとのデバイスが必要だ。

Salesforceは要件の定義と初期実装の検証に協力した。同社のソフトウェアエンジニアリングアーキテクトであるRichard Chang氏は、代表的な本番ワークロードでソリューションを検証する準備を進めていると述べた。AWSはまた、新しいGPUの1パーティションと旧世代アクセラレータ全体を比較し、テストしたすべてのシナリオでパーティションの方が高速だったが、コストが安くなるのはプロンプトが長くなるほど早く訪れる分岐点を超えた場合だけだと分かった。同社は分割を、万能の答えではなく選べるGPUサイズを増やすものと位置づけている。

よくある質問
GPU分割に対応するSageMakerエンドポイントはどれか?
対象は推論コンポーネントのエンドポイントにおけるリアルタイム推論だ。単一モデルエンドポイント、サーバーレスエンドポイント、異種インスタンスプールは分割できない。
GPU分割でモデルの呼び出し方法は変わるか?
変わらない。InvokeEndpointは推論コンポーネント名でモデルを指定し、そのモデルが使うパーティションがリクエストに現れることはない。
分割したGPUの課金は変わるか?
これまで通りGPUインスタンス全体に対して課金される。分割によってインスタンスをより有効に使えるようになるが、時間単価は変わらない。
Amazon AI Blog元記事を読む
LINEで送る

AI Weeklyも報道

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

次の記事へAIインフラ投資、契約と価値の根拠に乖離