ローカルAIエージェント、Magnitudeが自動調整

この記事は、ローカルモデル向けツールがチャット用に設計されており、エージェント業務には向いていないと主張する。エージェント利用では会話履歴が増え、メモリ帯域幅が速度を制限し、精度が極めて重要になる。Magnitudeはハードウェアのプロファイリングでこの課題に応える。

メモリ帯域幅を測定して生成速度を予測し、実環境の挙動を反映するためテスト推論も実行する。その上で、モデル・圧縮・コンテキストサイズ・予想速度帯を含む完全な構成を、バランス型・最重視型・最速型の順で提示する。

Apple M5でのテストでは、Gemma 4 E2Bを4ビットQATでバランス型として選び、4.6GBで50Kコンテキストを保持し、毎秒43～51トークンと予測した。このツールは並行処理や投機的デコードも自動で扱う。実際にWi-Fiを切ったテストでは、クライアントファイルに個人情報がないことを正確に特定し、完全にローカルで動作したことを確認した。