AppleのRLTL;DRがPass@1を14–31%に

この論文は、検証可能な報酬を用いた強化学習における既知の問題に対処している。タスクが非常に難しく、エージェントの成功の見込みが低いか皆無の場合、標準的な学習では最適化の対象となる成功例を見つけられない。著者らはこの領域を研究するため、データセットをPass@128 = 0に絞り込んだ。そこでは蒸留元となる教師モデルも解答例も存在しない。この設定で、Qwen 3.5 9B Thinkingポリシーの標準的なGRPO学習はPass@1が0%から1%で横ばいとなり、論文はこの学習障壁の突破を目指す。

提案手法は学習シグナルの来源を変える。成功したロールアウトだけから学ぶのではなく、失敗のたびにポリシーに検証器の出力を見せ、自らTL;DR洞察を書かせ、その後のロールアウトはそれまでのすべての洞察を条件とする。著者らによれば、このコンテキスト内の洞察への逆伝播、すなわちタスク→洞察の直接マッピングの内面化が鍵である。評価時に洞察がコンテキストにない場合でもポリシーは12–13%のPass@1を達成するからだ。わずか4k件の(task, insight)タプルで学習した簡略版SFTL;DRがほぼ全性能を回復することは、「この種のタスクでは、この種のことを念頭に置く」という形の学習パラダイムの証拠として著者らは提示している。

この結果が最終的に何を意味するかは、このタスク→洞察の内面化がここで使われたツール呼び出しとコーディングのデータセットを超えて一般化するかどうかにかかっている。論文はこの圧縮されたパラダイムを、既存手法に取って代わる確定したものではなく、今後の研究への着想として位置づけている。