AppleがMLX新版を公開

AppleのMLXは、Appleシリコンのユニファイドメモリ構造を活用するオープンソースの配列フレームワークで、研究者が自分のハードウェアで推論やファインチューニング手法を実行できるようにする。本記事でAppleは、本日リリースされた最新版のMLXが、パラメータ数がほぼ1兆に達するフロンティア級モデルMuse Spark Openを4台のMac Studioのクラスタ上で実行し、毎秒36トークン超を生成する様子を示している。

記事ではMac Studio上で3つのフロンティア級モデルをベンチマークしている。Muse Spark Open（816B）、Mistral Medium 3.5（128B）、Qwen 3.8（27B）だ。Muse Spark Openは専門家混合モデルで、一部の専門家のみを有効に保ち推論時の計算量を削減する。評価はNVFP4精度で行われる。より小さいQwenとMistralのモデルは512GBのRAMを搭載した単一のMac Studioに余裕を持って収まるが、Muse Spark Openはネイティブ精度ではモデルパラメータだけで1.6TB超のRAMを必要とするため、複数のMac Studioにまたがる並列化が必要になる。

Appleは大規模モデルを分割する2つの手法を説明している。深さ方向に分割するパイプライン並列化と、幅方向に分割するテンソル並列化だ。これらはマシン間の高速通信に依存しており、macOS 26.2ではThunderbolt 5経由の低遅延RDMAドライバが導入され、MLXはこれを基盤としてjacclと呼ばれる新しい通信集団通信を提供する。Appleはまた、Mac StudioがLLM推論においてエネルギー効率が良く、ピーク消費電力がM3 Ultraで約200W、M5 Ultraで約300Wだと指摘している。これは一般的なトースターの消費電力の一部にすぎない。