AgentSight、AIエージェントのトークン利用をコード変更なしで追跡

何が起きたか

AgentSightは、Linux上で動作するAIエージェント向けの非計測型可観測性ツール。eBPF（Extended Berkeley Packet Filter）というLinuxカーネル機能を使用してカーネルレベルでトークン消費、LLM APIコール、プロセス動作をキャプチャする。Linux kernel >= 5.8（BTFサポート必須）、rootまたはCAP_BPF権限が必要で、ANOLISA CLIまたはYUMでインストール。systemdサービスとして動作し、ポート7396でWebダッシュボードを提供する。

なぜ重要か

AIエージェント運用チームは、エージェント、タスク、モデル別のトークン利用を監視でき、LLMエラー、コンテキストオーバーフロー、SSE切断、エージェントクラッシュを検出できる。すべてエージェントコードを変更することなく、すべてのLLMコールを監査可能。ダッシュボードはリアルタイムトークントレンド、エージェントヘルスステータス、セッショントレースを表示。Copilot Shellの会話スキルとの統合により、自然言語でトークン利用と監査ログをクエリでき、Tokenless統合ではトークン削減データも表示。AIエージェントを運用する日本の企業が、エージェントコードを修正することなくトークン利用状況を監視し、コスト最適化の可能性がある。

注目点

データはSQLiteに保存（デフォルト最大容量200 MB、AGENTSIGHT_GENAI_DB_MAX_SIZE_MB環境変数でカスタマイズ可能）。容量到達時は自動クリーンアップ実行。ダッシュボード認証はリモートアクセス時はトークンベース（64文字の16進数、自動生成・永続化）、localhost（127.0.0.1:7396）アクセスは認証不要。macOSサポートはtraceコマンド（ローカルJSONLセッションファイルをスキャン）とserveコマンド（ダッシュボード表示）の2つに限定、eBPF依存機能はLinux専用。