EXO Labsによると、M5 Ultra搭載Mac Studio 4台で1つのAIクラスターとして動作し、4.8TB/sのメモリ帯域幅を実現。
大規模AIモデルをクラウドAPI並みの速度でローカル実行できる。
Appleも製品ページでこの取り組みを紹介している。
何が起きたか
EXO Labsは8月25日、Appleの新チップM5 Ultraを搭載したMac Studio 4台のクラスターが、合計約4.8TB/sのメモリ帯域幅を達成したと発表した。同社はAppleと1年にわたり協力し、Thunderbolt 5経由の低遅延RDMA（メモリ間の直接データ転送技術）を開発した。
なぜ重要か
接続台数にほぼ比例してメモリ帯域幅が拡張できるため、Kimi K3やGLM-5.3のような大規模モデルを「API並みの速度」でローカル実行できる。同日発表のM5 Ultraチップは、最大36コアのCPU、最大80コアのGPU、チップあたり1.2TB/sのメモリ帯域幅を備える。国内のAI開発者が高価な専用サーバーに頼らず、Mac Studioの複数台構成で大規模モデルを手元実行できる選択肢を得る可能性がある。
注目点
M5 Ultra搭載Mac Studioは税込¥949,800から。8月25日予約開始、9月22日発売。512GBメモリモデルは10月下旬に出荷される。
EXO LabsはAppleと1年間協力し、MacをAIクラスターとして連結する手法を開発してきた。この手法ではThunderbolt 5経由のRDMAを使い、OSやCPUを介さずにメモリ間で直接データをやり取りする。これにより、4台のメモリ帯域幅を合算して約4.8TB/sを実現している。
同日発表のM5 Ultraチップは最大36コアのCPUと80コアのGPUを備え、チップあたりのメモリ帯域幅は1.2TB/s。帯域幅をデバイス数にほぼ比例して拡張できるため、Kimi K3やGLM-5.3といった大規模言語モデルを「API並みの速度」でローカル実行できると同社は主張する。AppleもMac Studioの製品ページでこの機能を紹介しており、ユースケースとして公式に認められた格好だ。
ビジネス読者にとっての意義は、クラウドAPIに頼らず、非常に大きなモデルをオンプレミスで実行できる点にある。主なトレードオフはコストとハードウェア構築の手間で、1台あたりの税込価格は¥949,800から。512GBモデルの出荷が10月下旬になることから、この種のワークロードでは最大メモリ構成がより重要になる可能性がある。
AIが要約して、あなたの選んだトピックだけを1日1通。LINE・Email・Slackで届きます。
登録無料・30秒で完了・いつでも解除できます
この記事についてわからないことをAIに質問できます。Q&Aはこのページに公開され、他の読者も読めます。
AIサーバー需要の急増とサプライチェーンの地域化が進む中、鴻海（フォックスコン）は世界の製造能力の地理的多様化を加速させている
アップルはMiniとStudioコンピューターを更新し、OpenAIは新たなAI特化ハードウェア「Jalapeño」を発表した
中国は南西部の農村部・貴州省に数十のデータセンターを建設
ビル・ゲイツ氏が新たなエッセーを発表し、世界はAIの重大リスクに備えていないと警告した
ABEJAはシンガポールに子会社を設立し、ASEAN事業の拠点とする
AIモデルはパズル解決で急速に進歩する一方、空間認識や視覚パズルでは依然として失敗する
