LLM推論サーバーの監視にはトークン単位の計測が必須—従来のAPI監視では対応できない

何が起きたか

LLM推論システムの監視ガイドが示すように、vLLM、Hugging Face TGI、llama.cppなどの推論サーバーは、リクエスト単位でなくトークン単位のスループット、KVキャッシュ利用率、キュー遅延時間といった固有の指標をPrometheusとGrafanaで収集・可視化する必要があります。

注目点

vLLMはkv_cache_usage_percなどの稼働中リクエスト数やKVキャッシュ利用率をメトリクスエンドポイント（/metrics）で公開しており、TGIはキュー待ち時間やトークンあたりの平均時間を含むヒストグラム形式で提供するなど、各サーバーが既に標準的なPrometheusメトリクスを露出している点が活用のしどころです。