Amazon SageMaker AI、費用339ドル

MTRLが解決する問題を説明している。教師ありファインチューニングには正しい行動系列のラベルがなく、単一ターンの強化学習では結果より数ステップ前の判断を評価できない。Wordleの構成では、SageMaker AIが学習ジョブとポリシーモデルを担い、AgentCoreがエージェント、環境、報酬関数をホストし、エージェントはJob RuntimeのOpenAI互換エンドポイント経由でポリシーモデルを呼び出す。その後Group Relative Policy Optimizationが、同じ単語に対する複数ロールアウト間の報酬のばらつきを使ってLoRAアダプタを更新する。

AWSは失敗についても率直に語っている。当初の報酬設計は推測ごとのスコアを合計していたため、負けたゲームでも約+0.49が支払われ、初回推測での解決が3回目推測での解決より低く評価された。修正では結果項を支配的にし、小さな有界のシェーピング項を加えた。記事はまた、学習ジョブの検証曲線が48%でピークとなり、温度0では37%で終了した一方、温度1.0でサービングすると学習済みモデルが保留単語の84%を解決したと指摘し、AWSがサービング時と同じ設定で評価することを推奨する理由だとしている。