Magnitude、llama.cppを最大2倍高速化

Magnitudeチームの出発点は、推論エンジンの通常の作られ方と、ローカルAIエージェントの実際の動かし方のミスマッチにある。データセンター向けエンジンは大量リクエストのバッチ処理に最適化され、llama.cppのようなプロジェクトはできるだけ多くのハードウェアをカバーすることを優先する。チームの見方では、どちらもエージェントをPCで長時間動かす用途——繰り返しのファイル読み込み、コマンド実行、しばしば複数エージェントの同時稼働を伴うワークロード——に合っていない。

彼らの答えは、カーネルと呼ばれる小さな計算単位をモデルを実行するマシン上でコンパイルし、パラメータもそこで調整することだ。同じAppleシリコンやNVIDIAのファミリー内でも製品ごとに性能やメモリ配置が異なるため、幅広い互換性向けの汎用カーネルよりデバイス固有のチューニングが勝るという理屈だ。チームのベンチマークは4bit量子化したQwen 3.6 35B A3Bを64Kトークンのコンテキストで使い、MacとNVIDIA DGX Sparkの両方でllama.cppと比較した。

速度だけでなく、長時間稼働と並列利用にも対処している。Magnitudeはモデルの重みを保持するのに必要な分だけメモリを確保し、セッションが長引くにつれて領域を拡張、エージェントが停止すると解放する。共有プレフィックスキャッシュはセッション間で共通するシステムプロンプトの計算を再利用する。チームは次の展開も示している。Expert streaming、カーネル構成を自動で決めるコンパイラ、CPU・GPU・RAM・ストレージをまとめて最適化する取り組みだ。これらの機能が搭載される中で初期の利点が持続するかが未解決の問いである。