SageMaker HyperPodで迷路解決率95%に

強化学習によるポストトレーニングは言語モデルエージェント構築の標準工程になったが、実行は厄介だ。モデルが軌跡を生成し、報酬を受け取り、ポリシーを更新する。それを複数ノードで行えば、1回の学習で数百GPU時間分のロールアウトが発生する。AWSは核心的な課題を、長時間ジョブを維持し、ハードウェア障害から進捗を失わずに復旧し、可観測性を保つインフラと位置づける。

SageMaker HyperPodはそれに対するAWSの答えであり、このウォークスルーではオープンソースRLフレームワークのSkyRLと組み合わせている。迷路タスクは意図的に単純だ。エージェントは2D迷路の画像を見て方向を選ぶか停止し、移動制限内にゴールへ到達したときだけ報酬を得る。一手ごとの解答キーがないため、SkyRLのGRPOは各開始位置で複数回実行し、それらを相互採点してグループ平均を上回るものを強化する。別のクリティックや価値モデルなしで機能するシグナルだ。HyperPod上では推論エンジンと学習シャードが同じGPUを共有し、更新されたLoRA重みは各オプティマイザステップ後にAmazon FSx for Lustre経由で同期される。

見出しの数字にはAWS自身が付けた注意点がある。結果はハイパーパラメータと迷路構成によって変わる。このウォークスルーが本当に示すのは配管部分だ。チェックポイント、ノード交換、sagemaker_ray://プロトコルでのジョブ投入、事前構築済みGrafanaダッシュボード。実用的な価値は、チームがこの組み合わせを自らのより長く複雑なRL実行に信頼できるかどうかにかかっている。すでにGPUクラスタを持つチームは乗り換える理由をほとんど見出さないかもしれない。そのハードウェアなしでポストトレーニングを拡大するチームが主な対象だろう。