
Netflix シニアエンジニアの Tejas Chopra が開発した Project Headroom は、LLM(文章を理解・生成するAI)に送信する前にエージェント指示のトークン(AIが処理するテキスト単位)を削減するソフトウェア。公式プロジェクトではないが、Netflix 内複数チームと外部プロジェクトで既に利用されており、1月のリリース以来 GitHub で 2,000 スターを獲得、120回以上フォークされている。
Headroom は Python と Node で動作するプロキシとして機能し、入力前のコンテキストを圧縮。CacheAligner、ルーター、複数の圧縮機(AST コンプレッサ、JSON/DOM コンプレッサ、テキスト解析ツール)を備え、最後に Compress Cache and Retrieve(CCR)により LLM が必要に応じて元のデータにアクセス可能。サーバーログの 90% 削減、MCP ツール出力の 70% 削減などが可能。
Headroom のユーザーが累計 200 billion tokens の使用可能額を確保し、推定 $700,000 を節約。Chopra は研究からトークン削減がレイテンシーを改善し、LLM の性能向上にも寄与することを示唆(Stanford の研究は LLM がコンテキストウィンドウの中盤を見落とす傾向を報告)。
たとえば、いま届くならこの3本です
AIが要約して、あなたの選んだトピックだけを1日1通。LINE・Email・Slackで届きます。
登録無料・30秒で完了・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。Q&Aはこのページに公開され、他の読者も読めます。
MetaやGoogleなど大手が公開する大規模言語モデル(LLM、テキストを理解・生成するAI)の多くが、今や無料でダウンロードでき、自分のパソコン上で動かせる

LAIONはAI研究向けの大規模公開動画データセット「Big Video Dataset(BVD)」を公開した

エヌビディアがHugging Faceを130億ドルで買収すると報じられた

Anthropic PBCは、AIエージェントが顕微鏡などの科学機器を制御できるようにする統一インターフェース「Model Hardware Standard(MHS)」を発表した
NVIDIAがAIプラットフォームのHugging Faceを2兆ドルで買収することで合意したと記事は報じている

エヌビディアがAIプロジェクト向けホスティングプラットフォームのHugging Faceを129億ドルで買収することで合意したと報じられた