MicroLLM lab、135Mモデルをブラウザ比較

MicroLLM labは、文章品質でモデルを評価するベンチマークスイートに対する、ブラウザベースの代替として登場した。チェックが客観的、つまり正規表現か完全一致トークンであるため、135Mモデルがチェックに失敗しても問題ではない。失敗こそがこのツールが生み出す測定結果なのだ。ツールは速度と精度を分けて扱う。速度は持続デコードのtokens/sとスイートの実時間、精度は客観テストの合格率で報告し、グラフには各モデルの最新スイートを用いる。

またユーザーはJavaScriptで独自のベンチマークを書くこともできる。エディタはページオリジン内でeval()され、各チェックはモデルがデコードしたテキストに対して実行される。より大きなLLMにプロンプトを送るオプションもあり、読者の直近のtok/s値があればそれを使った推定も行う。

最大の制約は結果が端末内に留まることだ。データをローカルに保てる一方、スコアは各ユーザーのブラウザとハードウェアに左右される。このツールがどれだけ有用かは、客観的チェックが共通の基準点になるかどうか、そしてユーザーがどのモデルを試すかにかかっている。