SageMaker AI MTRLでQwen3.6-27Bを微調整、検索精度が23.7%改善

従来、検索エージェントのようなマルチターン行動の学習には課題があった。教師あり微調整（SFT）は理想的なマルチターン軌道の専門家によるデモンストレーションを必要とし、収集コストが高く、自社環境向けのデータは通常存在しない。単一ターンの強化学習（RLVRなど）は一度の応答のみを評価するため、検索エージェントが多数のターンにわたって相互依存的に行う意思決定を最適化できない。

MTRLはエージェントの全マルチターン軌道を最適化し、最終的な結果のみを反映する報酬信号を使う。今回の検証では、FRAMES、BRIGHT、Enterprise RAG、ESCI、Musique、MLQAを訓練に、FreshStack、WixQA、BrowseComp-Plus、Wandsをテストに使い、nDCG@10を報酬関数とした。訓練ではmax_epochs、global_batch_size、rollout_max_concurrencyの3つのハイパーパラメータのみを変更し、RLアルゴリズムやアドバンテージ推定器、オフポリシーの陳腐化境界はデフォルトのままとした。

結果として、WixQAで+18.4%、Wandsで+6%、BrowseComp-Plusで+23.7%のnDCG@10改善が見られ、FreshStackではわずかに低下した。特にBrowseComp-Plusの失敗率が22.89%から0.68%へ下がったことは、ターン数とトークン予算内でタスクを完了する能力が向上したことを示す。ただし、この改善はベンチマークやデータセットの性質に依存する可能性があり、自社環境への適用時には評価と反復が不可欠とみられる。