GRPOとRULER、2026年の報酬不要ファインチューニングを提示

記事は対比を軸に議論を組み立てる。GPTやClaudeを使えば、誰もが同じ能力・コストの同じモデルを使うことになり、競争上の優位はない。一方、特定のタスクでファインチューニングした小規模オープンソースモデルは100倍の規模のモデルを上回り得る。この主張は、すでに起きたと記事が言う変化に支えられている。つまりファインチューニングには、データセットの選定も、出力のラベリングも、報酬関数の手作りも不要になったという変化だ。

技術的な要はGRPOとRULERの連携にある。GRPOはプロンプトごとに複数の補完を生成して相互に相対評価するため、絶対スコアではなく相対的な順位付けだけを必要とする。RULERはLLM審判に複数のエージェント軌跡を比較させることでその順位を提供する。単一の試行を0〜10で評価させるより信頼できると記事は論じる。ARTはその提供手段として位置づけられ、各エージェント実行をTrajectoryとして記録するClientと、推論と訓練を担い各ステップ後に新しいLoRAチェックポイントを読み込むBackendに分かれる。

別のアーキテクチャ項目、すなわちLlama 3 70Bが8つのクエリヘッドごとに1つのKVヘッドを共有するgrouped-query attentionは、コスト管理が訓練だけでなくモデル設計にも宿るという注意喚起として示されている。報酬不要のファインチューニング手法が約束を果たすかどうかは、ARTのようなフレームワークの採用と、任意のMCPサーバーURLに対して訓練する3Bモデルのノートブックにかかっている。