Apple、言語モデルの自己圧縮手法を提案

思考の連鎖とツール呼び出しからなる長いエージェントのトレースは、古い内容を蓄積して以降の生成を固定し、やがて文脈ウィンドウを超えてしまう。既存の足場はこれをトークン閾値で発動する固定間隔圧縮で処理するが、軌跡の構造には目を向けず、導出や検索の途中で部分的な結果を捨てる恐れがある。

SELFCOMPACTは、推論時の2つの要素を組み合わせてこれに対処する。モデルが累積した文脈を要約するために呼び出す圧縮ツールと、いつ発動しいつ抑制するかを指定する軽量なルーブリックである。著者らは両方が必要だと指摘する。ツールだけではオープンウェイトモデル間で使用にばらつきがあり、ルーブリックだけでは行動できない。

実証結果は6ベンチマーク・7モデルに及ぶ。要約なしのベースラインに対し、数学で最大18.1ポイント、エージェント検索で5〜9ポイント改善し、質問あたりのコストは30〜70%低い。著者らはこれをメタ認知のギャップを露呈するものだと述べる。促されないモデルは自分の文脈がいつ劣化しているか確実には分からないが、軽量なルーブリックがそのギャップを埋める。いつ圧縮するかは、訓練なしに足場が供給できる能力だと位置づけている。