Amazon SageMaker AIが多ターン

このガイドはAWSが説明する実務上のギャップから生まれた。教師ありファインチューニングは各ステップのラベルを必要とし、単一ターンの強化学習では結果の数ステップ前の判断に報酬を与えられない。MTRLは代わりにエピソード終了時に報告される単一の報酬で学習し、エージェントはAmazon Bedrock AgentCore上、ポリシーモデルはSageMaker AIの学習ジョブ内に置かれる。Wordleの例ではデータセットが秘密の単語のみを持ち、モデルは目標軌跡を一切見ない。

報告された数値は評価設定の重要性を示す。学習ジョブ自体の検証曲線は48%でピークを迎え、温度0では37%で終了したが、中程度の推論努力と温度1.0では学習済みモデルが保留単語の84%を解き、ベースモデルは61%だった。AWSは低努力・温度0の組が学習ジョブのステップ0と100の検証に対応し、アダプターが設定間で14〜54ポイントを加えたと注記する。投稿では報酬設計の改訂も共有されている。推測ごとのスコアを合計すると、敗北したゲームが正の報酬を得たり、初回推測での正解が3回目での正解より低く評価されたりする逆転が生じ、最終的な結果重視の式がこれを修正する。