d1-2B、日本語3ベンチでd1-3B下回る

Liquid AIはオープンウェイトのd1ファミリーにd1-2Bを追加した。Hugging Faceのリポジトリは10月24日に作成され、最初のコミットは10月27日。d1-3Bとd1-omni-600Mが登場した10月5日から約3週間後になる。d1-2Bはテキスト生成モデルではなく判断モデルで、state（テキストまたはJSON）、画像、動画と、はい・いいえ、多肢選択、段階評価、値抽出、物体位置などの質問を受け取り、1回のパスで確率スコア付きの回答を返す。パラメータ数は1.92Bで、Liquid AIの視覚言語モデルLFM3-VL-2Bからポストトレーニングされ、日本語を含む16言語に対応、LFM Open License v1.0の下にある。モデルカードにはリリース日は記載されていない。

この比較は全モデルを新たに測定した同一条件のものではない。本記事のために測定したのはd1-2Bのみで、d1-3Bとd1 APIの数値は過去の実行によるもので、筆者はその間にAPIや重みが変わった可能性を指摘している。モデルカードの表と本記事の結果は相反して見えるが、ベンチマークの内容が異なるため、筆者はそれを矛盾とはみなしていない。日本語の文関係、常識、記事分類に限れば、d1-3Bの方が精度が高かった。他のモデルと比べると、d1-2Bはローカル実行の重みの中ではJeff Gemma4-E2Bに近い。筆者はこの3つの差について有意性検定を行っていない。ModernBERT-Ja-310Mは各ベンチマークの訓練データでファインチューニングされており、他のモデルとは条件が異なる。