Salesforceが改善エージェント公開

Salesforce AI ResearchはSFR-AutoR&Dを、単一モデルのリリースではなく研究システムとして打ち出している。設計は意図的に制約されている。研究者が目標、計算予算、評価、データのルールを定め、エージェントはその範囲内だけを探索する。この枠組みが重要なのは、成果が単なるスコア向上ではなく、ベンチマークの証拠に裏打ちされたコードベースの変更であり、論文の中だけでなく本番でも使えるからだ。

初期の結果は2種類の対象にまたがる。公開オープンソースコードでは、pandas、hnswlib、USearchなど最適化が進んだライブラリでもさらなる改善を見つけ、いずれもベンチマークの証拠付きでまとめた。Salesforce自身の埋め込みモデルでは、改善が検索品質と効率につながった。nDCG@10の6.13ポイント向上に加え、実行時間に焦点を当てた第2セッションでは、品質をほぼ落とさずにスループット36%増、レイテンシ17%減を達成した。こうした効率改善が重要なのは、埋め込みモデルが数百万件の顧客レコードに対して動くからだ。

このシステムは人間の判断を置き換えるものではなく、補完するものとして示されている。Salesforceによれば、製品向けに訓練したモデルは顧客に届ける前に本番要件を満たす必要があり、その作業は現在進行中だ。より広い主張は、研究ループ自体が自動化されつつあり、研究者は自律システムの制約設定へ移りつつあるということだ。関連する取り組みのCodeEvolveは、進化的探索をJavaとSalesforce Apexのコードに適用している。