12時間プロンプトキャッシュをAPIで提供へ

Day 16はOpenAIの28日間リリース体制の一環で、長コンテキスト作業を狙った一連の変更に続くものだ。Day 7ではGPT-6.1 Solの標準コンテキストを272Kから500Kトークンに拡大し、Day 12ではコンテキストの再利用とサブエージェント間のルーティングを改善した。Day 16は焦点を容量から永続性へ移す。数時間にわたる間隔をまたいで再利用可能なキャッシュを生かし続けるもので、APIの明示的な設定と、ログイン済みのCodex・Workユーザー向けの製品レベルの保証という2つの形を取る。

発表の2つの部分は異なるルールに基づく。APIオプションはTTLの選択肢であり、再利用の機会を提供するが個々のリクエストでのヒットを約束するものではない。一方、Codex / Workの保証は古いスレッドに戻る際の体験を説明するものだ。既存ユーザーは、新しいprompt_cache_options.ttlパラメータが旧モデルで使われていたprompt_cache_retentionとは異なる点にも注意が必要で、「12h」の値を旧フィールドにそのまま渡すことはできない。

実際の効果は利用パターンによる。長い共有プレフィックスを大きな間隔で再利用するなら、高い書き込みコストに見合う可能性があるが、30分以内に頻繁に使うならデフォルトが有利になりうる。キャッシュ済みトークンもTPMレート制限にカウントされ続けるため、コスト測定は利用内訳によって変わる。