Jeffがルールベースに勝利 敵対的で87.5%

JeffはQwen3.5-0.8Bをファインチューンして作られた、生成ではなく確率を返すゼロショット分類モデルである。READMEでは「27Bモデルの前にJeffを置き、Jeffが自信を持てる決定は自分で片付け、迷ったときだけ27Bに回す」という使い方が謳われており、今回の検証はその入り口として位置づけられている。

比較対象となったのは、文中の単語を先頭から見て最初にヒットしたキーワードのカテゴリを採用する、ありがちなルールベース分類器である。easyな10件では両者とも全問正解で差が出なかったが、否定文や皮肉を混ぜたadversarial 8件でルールベースが37.5%まで落ち込む一方、Jeffは87.5%を維持した。Jeffが唯一誤分類した例ではbillingとtechnicalが僅差でconfidenceも低く出ており、確率分布から「自信なく間違えている」ことが読み取れる点は、確信度が低いときだけ人間や大きいモデルに回すという想定用途の説得力を補強する。

一方で速度は、GPUなし・CPU4コアのクラウド環境で約1,500ms/件と、READMEが謳うCPU 463ms/決定（32スレッド）には届かなかった。1件ずつHTTPリクエストしてバッチ化していないことやコア数が少ないことが理由と考えられ、精度を取るか速度を取るかはユースケース次第とみられる。次に試すならREADMEにある9種類のLoRAアダプタを読み込み、ベース単体との精度差を見る余地がある。