GoogleのRRSI、未知タスク4.7ポイント向上

この研究論文は、AIエージェントの最近の進歩の多くが、新しいモデルではなくハーネス——エージェントが変更を加える前に適切なファイルを読むか、ミスから回復するか、結果をクリーンに出すかを決める足場——の研究から生まれていると論じている。最近まで、このハーネスの改善は手作業で行われていた。人が失敗した実行を確認し、手動で修正していたのだ。より新しい手法では、テストタスクからのフィードバックに基づいて言語モデルにハーネス自体を書き換えさせることでこのループを自動化しており、研究者はこれを実用的な形の再帰的自己改善と呼んでいる。

論文は、この自己最適化には落とし穴があることを示している。エージェントは同じ限られたテストタスク群に取り組み続けるため、最終的にそれらを丸暗記してしまう。学習タスクのスコアは上がる一方で、新しい未知のタスクでの伸びは縮小または消失する。研究者によると、これは検索が1つのベンチマークにしか合わないパターンを記憶し、偶然だけで高スコアを出す候補を優遇し、エージェントを改善することなくテストスコアだけを上げる不必要な複雑さを積み重ねるために起こる。RRSIは最適化ループの両端——新しい変更を提案する時と、どれを恒久的にするかを決める時——でこれに対処する。編集予算を時間とともに縮小し、批評器にタスク名や解答、その他のベンチマーク固有の小細工をハードコードした提案をすべて却下させるのだ。

最適化されたハーネスの中で、RRSIは必要なトークン数とステップ数が最も少なく、新しいタスクで最高の性能を発揮する。ただし未改変のベースラインハーネスはさらに軽量だ。著者らは、研究が凍結モデルを前提としたハーネスのみを対象としており、モデルの重みが変わるケースには触れていないため、モデル自体が更新される場合にこれらのガードレールが役立つかは未解決の問題だと述べている。