Muse Glimmer公開 30B・Apache 2.0

Muse GlimmerはMetaのフロンティアモデルMuse Sparkから蒸留され、エージェント向けデータで追加訓練された30Bの視覚モデルである。Llama 4以来となるMetaのオープンリリースであり、LlamaライセンスではなくApache 2.0を採用した点が大きい。これによりユーザー数上限や利用ポリシー、ブランド表示の義務なしに商用利用や名称変更が可能になる。

モデルは約29.6Bパラメータのデコーダと1.8BパラメータのViT-G/14視覚エンコーダを組み合わせ、テキストと画像を入力してテキストを出力する。長いコンテキストでもKVキャッシュを約60分の1に抑える設計により、131Kトークンのコンテキストを自前のハードウェアで扱える。また独自のチャット形式ATEMを採用し、推論の強さを調整するダイヤルを持つ。

数式画像からLaTeXへの変換タスクでは、LoRAで0.44%のパラメータを訓練することで出力形式の不一致を解消できる。ただし30ステップでは細かい記号認識が完全ではなく、実用化にはエポック単位の追加訓練が必要とみられる。自社の出力形式に合わせたモデルを求める開発チームにとって、訓練コストと精度のバランスが焦点となる。