7種の超小型AIをブラウザで実行

MicroLLM labのモデルは約2600万〜3億6200万パラメータで、サーバーではなくブラウザ内で動かせる大きさだ。重みはブラウザのIndexedDBデータベースに保存され、Q4量子化により各重みファイルは約15〜216MBに収まる。

このツールは、ブラウザが端末のGPUを計算に使えるようにするAPI、WebGPUに依存する。WebGPUが使えない場合はCPU上のWebAssemblyかJavaScriptに切り替わる。Windows向けFirefox 157.0でのテストでは毎秒26.9トークンで生成し、既定の出力上限が64トークンのため文の途中で停止した。

チャット以外に、ベンチマーク機能は回答に指定した単語や数字が含まれるかで判定し、処理時間を記録するが、文章の質を網羅的に評価するものではない。別のCustom evalモードでは、利用者がJavaScriptの条件を書いて自分の課題に照らして回答を確認できる。Rob氏は、問い合わせ分類やスパム検出など端末上AI機能を備えたアプリを開発する際、MicroLLM labがモデルの精度と速度の比較に役立つと話す。