Netflix エンジニアが開発したトークン圧縮ツール Headroom がオープンソース化、推定 $700,000 の利用者コスト削減を達成

Hacker News2日前3分で読める

こういう要約が、毎朝あなたのメールに届きます。

3つのポイント

1
Netflix シニアエンジニアの Tejas Chopra が開発した Project Headroom は、LLM（文章を理解・生成するAI）に送信する前にエージェント指示のトークン（AIが処理するテキスト単位）を削減するソフトウェア。公式プロジェクトではないが、Netflix 内複数チームと外部プロジェクトで既に利用されており、1月のリリース以来 GitHub で 2,000 スターを獲得、120回以上フォークされている。
2
Headroom は Python と Node で動作するプロキシとして機能し、入力前のコンテキストを圧縮。CacheAligner、ルーター、複数の圧縮機（AST コンプレッサ、JSON/DOM コンプレッサ、テキスト解析ツール）を備え、最後に Compress Cache and Retrieve（CCR）により LLM が必要に応じて元のデータにアクセス可能。サーバーログの 90% 削減、MCP ツール出力の 70% 削減などが可能。
3
Headroom のユーザーが累計 200 billion tokens の使用可能額を確保し、推定 $700,000 を節約。Chopra は研究からトークン削減がレイテンシーを改善し、LLM の性能向上にも寄与することを示唆（Stanford の研究は LLM がコンテキストウィンドウの中盤を見落とす傾向を報告）。