open-jevがDatabricksで21ms・毎秒379問

Jevは決定モデルだ。テキストと、選択式・段階評価・Yes/Noといった型付きの質問を渡すと、1回の推論で確率分布付きの答えを返す。文章を生成しないため出力フォーマットが崩れず、問い合わせの振り分け、属性の判定、優先度づけなど、LLMに頼みがちなタスクを高速かつ安価にこなせる。公式のJevは実装が公開されておらず、API経由でしか利用できない。

著者は公開されているJev互換モデルの中からcom-kotobalabs/open-jev-deberta-v3-largeを選んだ。モデルカードと著者のリポジトリによると、エンコーダ型のDeBERTa-v3-largeは42 msで動作し、LoRAで調整したLLaDA-MoE-7Bの676 msに比べて約16倍高速だった。またQiitaの記事では、日本語感情分類タスクjapanese_sentiment_classification（2,552例）で精度95.92%が報告されている。このモデルはmicrosoft/deberta-v3-largeをベースにした4億3500万パラメータのモデルで、Apache-2.0、コンテキスト長512トークン、状態は256トークンに限られる。

バッチ検証では、AI Runtimeが東京のワークスペースからA10Gを接続し、モデルカードに近い数値を再現した。7,000問のテストセットで精度0.861（カードは0.854）、8,000問のood-testセットで0.691（カードは0.690）だった。キャリブレーション誤差であるECEが0.015と0.032と小さいため、信頼度の値をそのまま信頼性として扱える。例えば、高信頼のケースは自動処理し、低信頼のものは人が確認するといった運用だ。このワークフローを各社がどこまで導入できるかは、そもそも社内ポリシーが外部APIへのデータ送信を許すかどうかにかかっていそうだ。