Prism ML、Qwen3.8を5.9GBに圧縮

Prism ML Inc.のBonsai 2 27Bは、高性能モデルを民生ハードウェアに詰め込む第2世代の試みとして登場した。同社は三値圧縮を用い、モデルの重みを16ビットから+1、0、-1で表す3ビットに簡素化することで、はるかに小さなメモリfootprintで情報を保存できるようにした。記事は、量子化と呼ばれる他の圧縮手法は通常、精度や知識などの能力を削ぎ落とすこと、Qwen3.8の最小メモリfootprintが9.4ギガバイトであることに言及している。

ベンチマークでは、Bonsai 2はエージェントとツール呼び出しでQwen3.8に3ポイント以内と迫り、それぞれ77.6と79.8だった。コーディングでは81.6と82.2、知識と推論では82.7と81.3を記録した。同社によると、このモデルはトークンあたり0.714メガワット時と極めて低消費電力で、完全精度で動作する他の8Bモデルより40%エネルギー効率が高いという。

超小型モデルの魅力は、推論をクラウドに送らずにAIをローカルで動かせる点にある。クラウドは遅延を招いたり、機密情報を第三者に露出したりする恐れがある。Bonsai 2 27Bが一般ユーザーや企業にとってその約束を果たせるかは、ベンチマークでの互角さが実タスクでどこまで通用するか、そして対象とするローカルハードウェアがユーザーが実際に気にするワークロードを処理できるかにかかっている。