AIエージェント、同じ任務でも成績に大差

この研究が着目したのは、AIエージェントの性能を引き上げるための新しいアルゴリズムではなく、既存のエージェントが同じ計算資源を使いながら実行ごとに全く異なる結果を出すという現象そのものである。8回の独立実行が68.3から100.0まで開いた事実は、単一の実行結果をそのまま性能評価として受け取ることの危うさを示す。研究チームはこれを「idea basin」という概念で説明し、会話コンテキストがエージェントの探索を過去の推論に引き寄せ、有望な領域から離れられなくすると論じた。Fork-and-Flushはこの診断に対する処方で、会話履歴を捨てて作業環境だけを引き継ぐ並列分岐により探索の多様性を取り戻す。13タスクのうち12で最高平均スコアを達成し、スコアの標準偏差も0.26から0.16へ低下した点は、性能の底上げと同時に再現性の改善も意味する。さらに興味深いのは、MAX-3-SAT問題を用いた検証で性能のばらつきがモデルの能力の限界付近で最大になるという発見だ。著者らは未解決の研究課題が定義上その限界に位置すると指摘し、モデルが賢くなっても境界が難しい問題へ移るだけで、文脈リセットの必要性は残ると見ている。