Metaが8160億のAI公開

Metaは自社のMuse Sparkモデルを土台にMuse Spark Openを構築し、安全対策を加えたうえでオープンウェイトモデルとして公開した。組織が外部サービスを経由せず自前のサーバーで動かせるようにするためだ。外部APIの利用にはコストとデータ管理上の制約が伴うが、オープンウェイトならそれを避けられる。

8160億パラメーターという規模はローカル利用の大きな壁になる。通常精度では約1.6TBのメモリが必要で、一般的な単体PCには大きすぎる。MetaはAppleとの協業でこれに対応した。Appleのチップ向けに調整されたAI開発フレームワークMLXと量子化を使ってモデルを約493GBまで削減し、複数のMac Studioに処理を分散させた。

AppleはM5 Ultraチップを搭載したMac Studio2台または4台でMuse Spark Openを計測した。マシン間はThunderbolt 5経由でRDMA接続し、メモリを高速転送する。Appleによると、Mac Studio4台ではスループットが毎秒約36.7トークンに達し、人間の平均的な読書速度を上回った。モデルはHugging Faceからダウンロードでき、NVIDIAやAMDの環境でも動作する。Metaは高性能モデルを開発者に無償で提供し続ける意向を示している。