2ビット量子化でも精度100%維持

ISTA-DASLabのリリースは、ここ90日間に353件のオープンソースAI関連記事が記録されるなど、オープンウェイトの量子化研究が密に続く中で登場した。2ビットビルドが3つの推論ベンチマークで完全一致したことは、積極的なスカラー量子化が重みあたり2ビットでもモデル精度を保てることを示唆しており、この分野にとって注目すべき結果だ。

この手法は、座標ごとのグリッド割り当てとグループごとのスケールを学習する訓練後スカラー量子化のGSQと、総サイズ予算の下でテンソルに量子化タイプを割り当てるRCOを組み合わせている。ラボによれば、GSQは2〜3ビットでスカラー量子化とベクトル量子化の差のほとんどを埋めつつ標準のGGUF形式に収まり、RCOは追加のハイパーパラメータ調整なしで予算を正確に守る。

ページには過去1か月で1,105,751ダウンロードが表示されており、高い関心をうかがわせる。より小さい1.75 bpwのIQ1_Mビルドはベースのタスク平均の98.7%を維持し、2.25 bpwのIQ2_XSは99.8%に達するなど、サイズと精度のトレードオフを提供している。