LLM全件判定を安価な選別で約9割削減

著者が解こうとしたのは記帳の問題だ。どの仕事にどれだけAIを使ったかを知るには、リクエストごとに、既存タスクの続きか新規タスクかを機械的に判定する必要がある。全件をLLMに任せればリクエスト1件ごとにLLM呼び出しの費用がかかる。提案された分担は、Jevに全件を分類させ、疑わしいものだけを上位モデルに回すというものだ。設計は観測された偏りに基づく。このデータでは開発セットにおけるJevの誤り12件すべてが「続きのタスクを新規タスクと誤読」で、逆方向はなかった。そのため「新規タスク」条件では、Jevが「新規タスク」と答えた場合か信頼度が0.5未満の場合に再確認する。

費用の比較には注意が要る。全LLM方式の約0.15ドルとJev先行方式の約0.016ドル〜0.02ドルの差には、Jevの選別だけでなく、全LLM方式が行っていたリクエスト単位の要約処理の省略も含まれる。著者の試算では31件すべてをLLMで直接判定すると約0.05ドル〜0.06ドルかかるため、Jevに帰属する部分は当初の数字のおよそ3分の1だ。

結果はデータセットによっても変動した。コスト削減は保留データで約90%、開発データで約70%、言い換えデータで約60%だった。言い換えデータでは表現が曖昧になったことでJevの信頼度が下がり、再確認率が41%から62%に上昇した。著者は、保留データは単に易しかった可能性があると指摘する。Jev単独のスコアは保留データで0.89、開発データで0.71だった。言語については、リクエストを日本語のままにしてもタスク継続の判定はさほど悪化しなかったが、別途行う「このリクエストは完了しているか」の判定は日本語（63〜70%）が英語に翻訳した場合（90%）より大幅に弱かった。