Jevは正解率60%でも自信の低い誤りで使える

このテストはベンチマークではなく疑念から始まった。以前の記事で、著者はJevの手法を自宅PCで再現しようとし、取引が完了したというメールを「資金は動いていない」と96%の確信度で断言するのを目の当たりにした。這種確信を伴う誤りは単純な間違いより見つけにくい。低確信度の回答だけを除外する仕組みでは、そのまま通してしまうからだ。Jevの開発者は、特別な訓練によって確信度の数字が現実と一致するようになったと主張しており、今回の実験はその検証だった。

602件のメール比較は二分された結論を生んだ。争点のある35件の純粋な正解率では、自宅製AIが83%でJevの60%を上回り、既存の実運用AIは49%で後れを取った。しかし誤りのパターンは別の話を語っていた。Jevは確信度74%を超えて誤ることは一度もなく、自宅AIの誤りは96%、89%といった数字を伴って現れ、レビューのしきい値を95%に上げても残った。自宅AIはさらに543件のうち191件を99%以上の確信度と判定し、良い回答と悪い回答を分ける余地をほとんど残さなかった。

第二の教訓はラベル付け作業そのものから得られた。注文確認が「資金が動いた」に当たるかどうかを決めることで3つのAIすべての順位が変わり、相違の多くがモデルの弱さではなく問いの未定義を反映していたことがうかがえた。既存AIのプロンプトをより詳細な規則で書き直したことも裏目に出た。誤検知は12倍に増え、見逃しは減ったが、新たな誤検知の9件は一致しないと明記された例に該当した。著者の結論は、条件を積み上げるのではなく、指示を小さな問いに分けるべきだというものだ。