
何が起きたか
Amazon SageMaker InferenceがNVIDIA Multi-Instance GPU(MIG)によるGPU分割に対応した。物理GPUを最大7つの分離パーティションに分割できる。
なぜ重要か
GPU数より多くのモデルを単一エンドポイントでホストでき、ハードウェアによる分離も確保される。新しいアクセラレータを丸ごとではなく一部だけ選べるため、容量不足や過剰プロビジョニングに対応できる。
誰に効くかSageMakerでマルチモデルエンドポイントを運用するMLプラットフォームチームや推論エンジニアは、モデルごとにアクセラレータを丸ごと占有する代わりに、小さなモデルをハードウェア分離されたGPUスライスに詰め込めるようになる。Kubernetesを管理せずに利用率を高められる可能性がある。
こういう要約が、毎朝あなたのメールに届きます。
SageMakerの新しいGPU分割は、1つのエンドポイントに複数モデルを配備し、各モデルに割り当てる演算資源を設定する仕組みである推論コンポーネントを基盤とする。パーティションは、推論コンポーネントがCPUやメモリを要求するのと同じ場所で要求するリソースであり、分割はエンドポイントのプロビジョニング時に行われる。検証では、アクセラレータの分割によりプロビジョニングに約17秒が加わり、残りの時間は通常のインスタンス起動とコンテナのプルだった。
この機能はよく知られたトレードオフに対処するものだ。これまで、アクセラレータより多くのモデルを抱える顧客は、大規模なエンドポイントでより強くバッチ処理するか、分離なしでGPUを共有するマルチモデルエンドポイントを使うか、MIGは動くもののドライバーのバージョン管理やパーティション設定、フリート全体の整合性維持といった作業が伴う自前運用のKubernetesへ移るかの選択を迫られた。分割はマネージドエンドポイント上でこうしたプラットフォームの負担を取り除くが、限界もある。パーティションの最大数は7を超えず、レイアウトはエンドポイント作成時に決まり、複数GPUを必要とするモデルには依然として丸ごとのデバイスが必要だ。
Salesforceは要件の定義と初期実装の検証に協力した。同社のソフトウェアエンジニアリングアーキテクトであるRichard Chang氏は、代表的な本番ワークロードでソリューションを検証する準備を進めていると述べた。AWSはまた、新しいGPUの1パーティションと旧世代アクセラレータ全体を比較し、テストしたすべてのシナリオでパーティションの方が高速だったが、コストが安くなるのはプロンプトが長くなるほど早く訪れる分岐点を超えた場合だけだと分かった。同社は分割を、万能の答えではなく選べるGPUサイズを増やすものと位置づけている。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る
OneTrustはOneTrust CORIEを基盤とするFall '26リリースを発表し、厳選した基盤モデルライブラリからモデルの関連付けと非推奨指標を継続的に更新するAI台帳を追加した
11月18日の日経「Dialogues on the Future」で、ソフトバンクグループの孫正義氏はAnthropicへの出資見送りを「僕の失敗の一つ」と語った

Cassava TechnologiesがNvidia製チップ購入のため最大10億ドルの調達を検討

Microsoft Ignite 2026でWindows Server 2028のパブリックプレビューが公開され、Microsoft Foundry、Windows ML、vLLM、Llama.cppによるAI推論ホス…

BrightAIがSmith Point Capital主導のラウンドで97百万ドルを調達

AUMOVIOはDatabricks Unity GatewayをLLMへの唯一の経路に採用
