MetaがMuse Spark Open公開

Muse Spark Openは、MetaのMuseシリーズをMuse Glimmerの先へと広げる。Muse Glimmerは同じシリーズの小型高密度モデルとして8月に公開された。両モデルはトークナイザーと語彙を共有し、チャットテンプレートもMuse Glimmerに準拠しつつ、新しいモダリティ向けの追加がある。アーキテクチャ上の変更点は、Muse Glimmerの各層あたり単一の高密度フィードフォワードネットワークを、256のエキスパートを持つMixture-of-Expertsブロックに置き換えたことだ。ルーターがトークンごとに8エキスパートを選択する。これらのエキスパートがモデルのパラメータの約97%を保持するため、導入時のフットプリントは816Bパラメータモデル相当でありながら、トークンあたりの計算量は42Bモデル相当となる。

マルチモーダル側は別個のエンコーダーが担う。1.8Bパラメータの知覚エンコーダーが画像と動画フレームをトークンに変換し、音声エンコーダーは80ミリ秒ごとに1トークンを出力する。これらのトークンはすべてテキストとともに1Mトークンのコンテキストウィンドウを共有し、grouped-query attentionによりKVキャッシュはBF16でトークンあたり約250 KB、1Mトークンのコンテキスト全体では約266 GBに収まる。

フルウェイトのモデルは重いため、実用的に使えるよう複数のサービング経路が用意されている。量子化版はllama.cppに統合され、NVFP4チェックポイントはSGLangとvLLMでサポートされ、Hugging Face Inference Endpoints向けのSGLangレシピも利用できる。Metaはこのモデルを、複数ファイルのリファクタリング、長時間のデバッグ作業、ツール呼び出しといったエージェント型コーディングタスク向けに特化して訓練した。