LLM推論サーバーの監視にはトークン単位の計測が必須—従来のAPI監視では対応できない

何が起きたか：LLM推論システムの監視ガイドが示すように、vLLM、Hugging Face TGI、llama.cppなどの推論サーバーは、リクエスト単位でなくトークン単位のスループット、KVキャッシュ利用率、キュー遅延時間といった固有の指標をPrometheusとGrafanaで収集・可視化する必要があります。

なぜ重要か：従来のAPI監視（レスポンスタイム、エラー率）だけでは不十分です。同じペイロード容量のリクエストでも、返却トークン数やキャッシュ再利用の有無で遅延が大きく変わるため、トークン数、キュー深度、キャッシュ圧力を把握することが、潜在的な障害を予防する上で重要とみられます。

注目点：vLLMはkv_cache_usage_percなどの稼働中リクエスト数やKVキャッシュ利用率をメトリクスエンドポイント（/metrics）で公開しており、TGIはキュー待ち時間やトークンあたりの平均時間を含むヒストグラム形式で提供するなど、各サーバーが既に標準的なPrometheusメトリクスを露出している点が活用のしどころです。