Hugging Face、transformersにGGUF対応

Hugging Faceの今回の動きは、これまで別々だった2つのツールを近づける。同社のtransformersライブラリは長くモデルを定義・実行する既定の場であり、llama.cppはOllamaやLM Studio、JanといったローカルAIツールの基盤エンジンとなってきた。llama.cppチームが開発したGGUFはローカル推論で広く使われる形式で、UnslothやLM Studio Community、bartowskiといった配布元がすぐ使えるGGUFチェックポイントを提供している。これまで、そうしたチェックポイントを扱うにはtransformersのワークフローから離れる必要があった。

今回の統合は、kernelsライブラリを通じてllama.cppの基盤となるggmlカーネルを再利用し、generateのオーバーヘッドを減らす。当初はApple SiliconとQwen3.5アーキテクチャに焦点を当てる。同じGGUFファイルはllama.cppでも引き続き使え、効率的なローカル推論を優先する場合にはHugging Faceもllama.cppを推奨している。ベンチマークはMacBook Pro M2 Max上で3つのチェックポイントを比較しており、記事は条件が同一ではないと注記する。transformersの計測にはprefillが含まれる一方、llama-benchはdecodeのみのスループットを報告するためだ。

実用的な意味は読者の環境次第だ。packedパスは今のところMPS専用で、パディングとバッチ処理にはまだ課題があり、アーキテクチャの対応範囲はQwen3.5のdenseおよびMoEチェックポイントに限られる。対応するApple Siliconマシンを使う開発者にとっての利点は利便性にある。想定どおりカーネルが読み込まれ、逆量子化とメモリ使用量の増加にフォールバックしなければ、いつもの環境を離れずにGGUFチェックポイントを試し、評価し、検証できる。