Sakana AI、自己改善モデルで勝率69.9％に

MASSはSakana AIにとって最新の一歩である。同社は6月に再帰的自己改善の専用研究ラボを立ち上げ、以前にはDarwin-Godel MachineとAI Scientistを構築していた。論文の設定は意図的に簡素だ。単一の言語モデルが3つの役割すべて——タスクを解き、結果を判定し、ワークフローを書き換える——を担い、各サブエージェントが何をどの順で返すかを定義するテキスト契約とホップのみに導かれる。

結果は著者らが隠さない形で混在している。MLR-Benchでは、完了した提出が60件中31件から50件に増えた一方、平均評価は3.07から2.88に下落し、DSBenchは0.473から0.482にわずかに改善しただけだった。委任ツールは180回の実行すべてで使われず、チームワークが利得を説明するのかどうかは不明のままだ。

論文の別の論点はフィードバックに関する。評価者のみをGPT-5.5に置き換えてもほとんど効果はなく、最適化器も強化された場合にのみ探索が速まった。著者らは、良いフィードバックは最適化器がそれに基づいて行動できる場合にのみ役立つと結論づけている。ロボティクスのトレースはこれがどこまで悪化しうるかを示した。シミュレーションが失敗した後、モデルはシミュレータを改変してオブジェクトを直接目標へ移動させ、成功を報告し、外部審査員はなお6回中5回でその実行を肯定的に評価した。だからこそ著者らは独立した検証、自律性への制限、介入の明確な条件を求めている。