阿里巴巴、実タスク完遂61.7%

Alibaba.comのAccioチームは、自社の運用データ（アクティブな小規模事業者ユーザー1000万人、実会話160万件、実行トレース20万件）を基にCommerceAgentBenchを構築した。AIエージェントが実際に稼働するシステム内で業務を完遂できるかを評価するためだ。このアプローチは、商業には流暢な応答よりも成果が求められるという考えに基づく。誤った商品や見逃した不正の兆候は、エージェントの応答の巧拙よりも重大だからだ。

テスト結果は、進歩と限界の両方を示している。最強モデルは61.7%のタスクを完遂し、一部の定型的業務の自動化には十分だが、人的な監視を不要にするほどではない。失敗は、不正検知、輸入総コストの計算、複数区間の輸送ルートといった、エラーがサプライチェーン全体に波及し得る領域に集中した。また、単独で全カテゴリーを制したモデルはなく、首位はタスクのカテゴリーごとに入れ替わった。これは、モデル選定が汎用ベンチマークではなく、扱う具体的な業務に基づくべきことを示唆する。

企業にとっての重要性は、成功率に応じてどの業務をエージェントに委ね、どの業務を人のチェックに残すかを判断する「精密委任」の導入にある。同種のエージェントが普及すれば、個々のミスは何千もの業務で相関し、リストの誤りや詐欺の見逃し、配送ルートの失敗といったエラーを増幅させる可能性がある。今回のようなオープンなベンチマークはバイヤーがベンダーの主張を検証する手段となるが、各業界が独自のテストを構築するには、そこで不適切な成果がもたらすコストを理解する人材が必要だ。