SageMaker AIでLLMを検証可能報酬で訓練

RLVRは、答えをコードで検証できる場合の実用的な選択肢だ。数学の問題なら検証器に必要なのは最終的な数値だけなので、推論の過程を整える必要はない。このウォークスルーが探るのはまさにその差だ。教師ありファインチューニング（SFT）は目標となる出力を必要とするが、RLVRは採点器さえあればよい。ここで使う手法であるGroup Relative Policy Optimization（GRPO）はDeepSeekMath論文で導入されたもので、サンプリングしたグループ内の相対報酬に基づいて更新することで、PPOで使う独立した価値モデルを不要にする。

具体的なトレードオフは、検証器がタスク仕様の一部になることだ。緩いパーサー、不完全なテストスイート、悪用可能な採点ルールは誤った行動に報酬を与えかねず、説明されているローカルテストが対象とするのは学習済みモデルではなく採点器だ。ウォークスルーの助言はここから導かれる。正確性とフォーマットを別々にグラフ化し、応答長が精度より速く伸びていないか注目し、報酬関数をテスト・バージョン管理・指標レベルの監視を備えたプロダクトロジックとして扱うことだ。

測定の話は訓練と同じくらい重要だ。ラボ自身のノートブックはベースモデルを評価していないため、1回の実行では前後比較の主張を支えられない。だからこそ参照比較（0.406から0.507）はAWSのペア成果物に帰属させ、正確な値は実行ごとに変わりうるという注意が添えられている。残りのSageMaker AIの操作は機械的だ。検証器をバージョン付きEvaluatorとして登録し、ml.g5.xlargeエンドポイントにデプロイし、ストリーミング経路が機能することを示す5プロンプトのスモークテストを実行する。ただしこのサンプルはスループットを特徴づけるには小さすぎる。