Jeff-0.8B、長文契約100%

このテストは実用的な問いに答えるために行われた。クラウドの判断モデルの挙動をローカル環境でどこまで再現できるか、という問いである。著者はすでにKev-4BとQwen3.5-4Bで予備実験を行っていたが、それらはモデルごとのPythonスクリプトを使っていたため、プロンプト形式や並列処理、HTTPオーバーヘッドが実行ごとに異なっていた。今回は6モデルすべてを同一のRESTプロトコル、TypeSafe ADR-010の/v1/systemoneワイヤ形式に揃え、Interfaze AIが公開するオープン評価ハーネスlevbenchで測定した。この変更だけで結果は動いた。Jevの測定精度は76.67%から77.33%に上がり、実行時間は半分の6.4秒になった。一方Qwen3.5-4Bは67.00%から60.00%に下がった。ハーネスがSGLangの動的バッチ処理を使わず1リクエストずつ送信するためである。

長文文書のフェーズでは、300問のS1Benchとは別のことを試した。15問は、2,000〜4,500トークン以上の契約書の中で特定の条項を見つけられるかを問うものだった。たとえば口頭開示に対する14日以内の書面確認ルールや、3年間の存続期間などである。結果はアーキテクチャによって明確に分かれた。Cross-Attention設計（Jev、Lev、Jeff-0.8B）とQwen3.5-4BのRadixAttentionプレフィックスキャッシュはいずれも100.0%に達した。線形時間で動くが履歴を固定サイズの状態に圧縮するKev-4BのGated DeltaNetは60.0%にとどまり、CLM-8Bのプールされた文書埋め込みはAction Cachingを使っても40.0%に崩落し、15問中13問がFalseに偏った。

これらの結果とHelpSteer2の採点タスクとの対比が、この研究で最も有用なシグナルである。Jeff-0.8Bは契約の検索では100.0%を記録したが、5段階の回答品質判定ではわずか18.0%だった。ここではモデルは目の前のテキストではなく、自身に蓄積された知識と照らして回答を確認する必要がある。著者はこれを欠陥ではなく導入ルールとして読む。モデルが記憶していない事実や見たことのないルールを判断する場合、前提をプロンプトに直接与え、モデルには比較だけをさせる。このルールがこの15文書の外でも成り立つかが未解決の問いであり、このローカル環境をどこまで本番投入できるかを左右しそうだ。