Claude Code圧縮0.26秒に

このプラグインの設計は、組み込みの圧縮の仕組みへの直接的な反応だ。組み込みの圧縮は会話全体をモデルに渡して要約を作らせるため、その書き換えに時間とトークンがかかり、要約が省いた細部は次のコンテキストにもう残らない。開発者は以前、自動圧縮が来る前に都合の良い区切りで手動で/compactを実行して回避していたが、それではタイミングが変わるだけで、要約して再開する仕組み自体は手つかずのままだった。

検討した末に断念した別の方法は、どの情報が後で重要になるかをモデルに予測させるものだった。開発者はJevを使い、ある情報が必要になるかを判断させてみたが、期待した性能は出ず、投稿ではその理由を、現在のコンテキストだけから30ターン後に何が必要になるかを予測する難しさに帰している。代わりにlossless-compactionは、大きな項目を削除せずにコンテキストから外し、ID付きのチケットを残して、必要になったときにモデルが元の内容を呼び戻せるようにする。内容はSHA-256で識別し、削除前にディスクから読み戻して書き込みを確認する。

コストの話になると、比較は単純ではなくなる。組み込みの方式は圧縮時にコストを払い、その後は小さなコンテキストを保つが、捨てた情報が再び必要になれば、そのトークンはセッション記録からコンテキストに再び入る。プラグインは圧縮時にほとんどコストを払わないが、後のリクエストにはより大きなコンテキストを持ち込むため、プロンプトキャッシュが切れるとその大きな分を書き直さなければならない。開発者自身の整理では、問いは圧縮コストをなくす方法ではなく、どこでどの形で払うかだという。そのトレードオフがチームにとってどう働くかは、セッションがキャッシュを壊すほど長く止まる頻度と、後の作業が以前のコンテキストを実際にどれだけ再利用するかにかかっていそうだ。