AWSがファウンデーションモデルの訓練と推論向けにインフラストラクチャスタックを解説、複数のスケーリング領域に対応する統合アーキテクチャを提示

AWSはP5、P5e、P5en、P6インスタンスファミリーを提供し、NVIDIA H100、H200、Blackwell B200、Blackwell Ultra B300 GPUを搭載。P6-b300.48xlargeはB300 8個で2,100 GB HBM3eメモリと800 GB/s EFA帯域幅を備える。

ファウンデーションモデルのライフサイクルは訓練、ポストトレーニング（教師あり微調整と強化学習）、推論における「3つのスケーリング則」に対応。これらのステージ間で加速器計算、高帯域幅低遅延ネットワーク、分散ストレージが必須となる。

Slurm、Kubernetes、PyTorch、JAX、Prometheus、Grafanaなどのオープンソースソフトウェアスタックが、インフラストラクチャ、リソースオーケストレーション、MLフレームワーク、可観測性を構成する階層型アーキテクチャで統合される。