AppleのRL、Qwen 3.5 9Bを13%に

検証可能な報酬を用いた強化学習は通常、AIにタスクを何度も試させ、成功した試行に向けて最適化する形で機能する。しかし、モデルの成功率が低い、あるいは皆無に近いほどタスクが難しく、学ぶべき教師モデルや解答例もない場合、この手法は破綻する。AppleのRLTL;DRはまさにこのギャップを狙ったもので、失敗のたびに検証器の出力をポリシーに見せ、自ら一つのTL;DRインサイトを書かせ、次の試行はそれまでのすべてのインサイトを条件として行う。

結果が示すのは、テスト時にコンテキストに残されたインサイトではなく、内部化されたインサイトのマッピングこそが向上の原動力だということだ。訓練中、コンテキスト内にインサイトがある状態でRLTL;DRはPass@1 14～31%に達し、評価時にはインサイトが存在しなくても12～13%に達する。簡略化した変種であるSFTL;DRはロールアウトなしで（タスク、インサイト）タプルのみで訓練し、わずか4kのタプルで完全な手法のほぼ全性能を回復する。

鍵となるのは、著者らが「この種のタスクでは、この種のことを心に留めておく」と表現するこの圧縮されたパターンが、ここで用いたツール呼び出しとコーディングのデータセットを超えて一般化するかどうかだ。もし一般化すれば、成功した試行が一つも存在しない問題に取り組むチームは、これまで得られなかった訓練シグナルを生成する手段を手にできるかもしれない。