ax-engineがデコード76tok/s超

このプロジェクトの出発点はApple Silicon Macのハードウェア上の特性にある。GPUとCPUが同一のUnified Memory Architectureを共有するため、ローカルLLMの実行は生の演算能力ではなく、モデルの重みとKVキャッシュを読み出す速度であるメモリ帯域に制限されることが多い。実際、モデルは問題なく読み込めても、トークン生成が想定より遅くなることがある。

ax-engineは、チャットUIやクラウドサービスではなく実行と配信に焦点を当てることで、この差を埋めようとしている。設計上の狙いには、補助的な予測ヘッドが数トークン先を提案し本体モデルがそれを検証するMTPデコード、Prefix再利用、単一プロセスからの複数モデル配信がある。開発者は、MTPの効果は一定ではなく、モデルアーキテクチャ、MTP対応の有無、量子化形式、プロンプトとコンテキスト長、生成トークン数、Apple Siliconの世代、Unified Memory容量によって変わると強調する。だからこそ、同じモデル、同じ量子化、同じプロンプトで比較するよう促している。

ベンチマーク表自体はプレースホルダー値で示されているため、再現可能な公開値は、報告されているM5 Maxでの76 tok/s超という結果と、mlx-lmに対する約2.4〜2.7倍の優位だ。開発者はこれらが固定値ではなく、構成によって大きく変わると明言している。範囲を広げるため、M1からM5までのマシン、16 GBから64 GB以上までのメモリ、各種量子化形式での結果を、チップとメモリ容量、macOSとax-engineのバージョン、モデル名、コンテキスト長、デコードとプリフィルの速度、メモリ使用量、発生したエラーと併せて求めている。既知の制限には、モデル対応のばらつき、モデルと設定に依存するMTP、インストールとモデル変換の問題、すべてのOpenAI互換クライアントとの互換性が保証されないことがある。