Moongazer RLがRTX 5090で非同期ループを実行

本記事は、個人がそこそこのハードウェア（GPU 1〜3基）で言語モデルの完全非同期強化学習（RL）を実行できるようにするフレームワーク、Moongazer RLを紹介している。非同期RLは学習の2つの主要段階——応答生成（ロールアウト）とモデル更新——を分離し、互いに待たなくて済むようにする。この手法はMoonshot AI（Kimi K2.5）やMiniMax（M2.5）など大手ラボが採用しているが、通常はマルチノードのGPUクラスタを必要とする。 Moongazer RLは生成にvLLM、学習にUnslothとTRLを組み合わせ、Prime Intellectのverifiers環境と統合する。著者は単一のRTX 5090向けの設定例を提供しており、gemma-4-E2B-itモデルと数学環境を使用する。この例は12ステップを実行し、440件のロールアウトを生成、学習とモデル呼び出しの間隔は98.3%の時間で重なった。しかし学習側は依然として61.8%の時間を待機に費やしており、ロールアウトの供給がボトルネックであることが示された。非同期実行は待ち時間を隠せる一方で、データの陳腐化やオフポリシー補正といった課題も生じ、Moongazer RLはmax_stalenessや重要度サンプリングなどの設定で対処していると記事は指摘する。 主な結論は、完全非同期RLはもはや大規模ラボに限られたものではなく、Moongazer RLを使えば単一のコンシューマーGPUでも試せるということだ。ただし著者は、12ステップの実行は実現可能性のデモにすぎず、同期手法に対する速度面の利点や、より長い学習による精度向上はまだ示されていないと警告する。小規模な実験にとって実用的な利点があるかどうかは、より長い実行と統制された比較によって検証できるかにかかっている。