何が起きたか
AWSはSageMaker AI上で2つの30B Mixture-of-Expertsモデルをベンチマークし、NVIDIA Blackwell搭載G7がスループット、レイテンシー、コストで勝利。
なぜ重要か
あるテストではml.g7.12xlargeが毎秒391.3出力トークン、G6比約60.8%向上、G5比13.0%向上。G7はG5/G6の4GPU・96GBに対し2GPU・64GB。
注目点
性能向上の一因はG7のFP4 Tensor Coreネイティブ対応。効果はワークロード次第で、モデルやトークン長、同時実行数により変わるため自社検証が不可欠。
誰に効くかAWS SageMaker AIでLLMを展開するエンタープライズチームは、インスタンス選定を再検討する必要がある。G7はリアルタイム推論でG5/G6を上回る価格性能比を提供するが、現時点では米国東部（オハイオ）と米国西部（オレゴン）のみで利用可能。
こういう要約が、毎朝あなたのメールに届きます。
AWSのベンチマーク投稿は、SageMaker AIでLLM推論に使うGPUインスタンス選びの実務的判断に焦点を当てている。生成AIが実験から本番運用に移る中、インフラコストは収益に直結するため、インスタンス選択は重要だ。最初のテストではG5、G6、G7でコーディングモデルを比較し、2番目のテストでは自動レコメンドツールでG6、G6e、G7を評価した。
構造面での主要な利点は、G7がBlackwellの4ビット浮動小数点形式をネイティブサポートする点で、旧世代はハードウェアアクセラレーションなしで実行する。G7は少ないGPUとメモリー（G5/G6の4GPU・96GBに対し、2GPU・64GB）で同等の成果を上げ、世代間の効率向上を示している。
AWS顧客への影響は明確だ。G5/G6を使い続けると、性能が低いのにコストが高くなる可能性があるが、効果はワークロードに依存する。G7は現在2つのAWSリージョンに限られ、最適な構成は入力長によって異なる。テスト結果は参考値であり、本格導入前に自社ワークロードでベンチマークすべきだ。
たとえば、いま届くならこの3本です
AIが要約して、あなたの選んだトピックだけを1日1通。LINE・Email・Slackで届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。Q&Aはこのページに公開され、他の読者も読めます。
