Surge AIの税務ベンチマーク、AIは聞くべきことを見落とす

Surge AIの出発点は、既存の税務ベンチマークの多くがAIに事前に特定された作業、つまり税法の質問への回答や申告書の数値計算を課す点にある。実際の助言業務はもっと早く始まる。顧客は自分に税務上の問題があると気づいていないかもしれず、書類同士が食い違うこともある。ベンチマークは税務の専門家とともに、その早い段階の工程を強いるよう作られ、ファイル数は規模を示す。1タスクあたり中央値30件の原資料だ。

結果はその継ぎ目で分かれた。住宅売却の事例では、GPT-6 AstraはAnnaが検討するどちらの日付で売却しても居住要件を満たすと正しく判断したが、規則が示す期限には触れなかった。2027年8月下旬ごろを過ぎると、直前5年のうち3年超が転居後の期間となり、2年の居住要件を満たせなくなる。Claude Opus 5.5は毎回その期限を指摘した。退職金分割の事例では役割が逆転し、Claude Opus 5.5は2人が法的に結婚していないとの仮定で進み、GPT-6 Astraは5回中4回で婚姻状況の確認が必要だと先に述べた。

Surge AIの結論は、個々の作業を処理することと、顧客の説明と書類を突き合わせ、他に何を確認すべきかを決め、それを申告書や助言にまでつなげることは別だというものだ。2つの例は、その区別が哲学ではなく具体的であることを示す。ある確認工程を捉えた同じモデルが、別の確認工程を外したのだ。