AllSpark、Iris検索エージェント公開

AllSparkのリリースが際立つのはベンチマークスコアだけでなく、トレーニングデータの構築方法にある。既存データセットから質問を集めるのではなく、チームはウェブページのリンク構造から多段階の質問を逆算し、最終回答以外のすべての用語を言い換えることで、単純なテキスト検索では手がかりを解決できないようにした。その後、参照モデルがツールを必要とする質問を選別し、タスクを難しく検証可能に保った。

論文は評価についても鋭い指摘をしている。チームは、一般的なベンチマークでの実行時コンテキスト管理が、報告されているシステム間の差よりも大きな違いを生むことが多いと判明した。Iris-miniでは、コンテキスト管理によりBrowseCompのスコアが最大21.2ポイント向上した。これはトークン予算が小さいからではなく、小さいモデルの方がコンテキストを速く消費し、制限に達する頻度が高いためだ。これは、報告されるモデル間のベンチマーク差が、モデル品質だけでなく足回りの違いを部分的に反映している可能性を示唆する。

検索にとどまらず、著者らは生成されたトレーニングデータと特化モデルの両方が、訓練されていないタスク——一般的なツール使用やオフィス作業を含む——の性能を向上させたと報告している。これは検索が狭い専門分野ではなく基盤的なスキルであることを示す。主な未解決の問いは、チームが計画しているデータ構築とトレーニングパイプラインの公開により、他者がこれらの結果を検証し発展させられるかどうかだ。