d1-3B、API版d1に2ベンチで劣後

Liquid AIは判断専用モデルd1をこれまでAPIでしか提供していなかったが、10月5日に重みをd1-3BとしてHugging Faceで公開した。手元のGPUで動かせるようになったことで、API版と同じ精度が出るかが利用者の関心になる。今回の測定では、d1 APIの数字はd1-3B公開前の10月1日に別の記事向けに測った結果を流用しており、d1-3Bは10月8日に測っている。両者の測定には1週間の開きがある。d1-3Bには選択肢を説明なしの辞書で渡しており、説明を付けると結果が変わる可能性がある。Liquid AIはAPIの中身の大きさを示しておらず、重みが公開されているのはd1-3Bとより小さいd1-omni-600Mだけである。APIの裏でより大きなモデルが動いている可能性や、公開版と別の版である可能性、入力の扱いの違いが考えられるが、いずれも今回の測定では確かめられていない。