PrismMLのBonsai 2 27B、5.9 GBでQwenの98%を達成

PrismMLはCaltechの研究者グループが設立し、Caltechの教授で圧縮の専門家であるBabak Hassibi氏が率いている。Khosla Ventures、Cerberus Capital、Caltechから2225万ドルのシードラウンドを調達し、Databricksの共同創業者でバークレーSky Computing Labのディレクターを務めるIon Stoica氏がアドバイザーに名を連ねる。

LLM圧縮に取り組むのは同社だけではない。スペインのDonostia International Physics Centerの教授が設立したMultiverse Computingもこの分野に取り組み、多額の資金を調達している。Hassibi氏は、PrismMLの技術が際立つのは、モデルの性能が元モデルと比べてほとんど落ちていない点だと主張する。ベンチマークの一致率は2回のリリースで95%から98%に向上した。同社によれば、初代Bonsaiはすでに1100万回以上ダウンロードされ、さらに小型のモデル群も260万回ダウンロードされている。

次の試練は規模だ。Hassibi氏は数カ月以内に数千億パラメータ規模のモデルをリリースする予定で、モデルが大きくなるほど知能を保つのは容易になると予測する。その規模で圧縮が持ちこたえるか、そして日々のデバイス利用につながるかが、未解決の問いだ。