OpenAIのGPT‑6、プロンプトキャッシュ高ヒット

GPT‑6は、コードベースのリファクタリングから調査の行き届いた文書作成まで、複雑なタスクに何時間も取り組む永続エージェントを支えるよう設計されている。こうしたエージェントは互いに積み重なる一連のAPIリクエストを行い、しばしば同じ指示・ツール定義・コンテキストを引き継ぐ。OpenAIはその共有コンテキストをキャッシュし、リクエスト間で計算を再利用することで応答時間を短縮し、キャッシュされた入力トークンの割引を開発者に提供する。

新しいプロンプトキャッシュシステムはそのエンジンを基盤に、デフォルトでより高いヒット率を実現し、ミスの可視化と修正を助けるツールを追加する。ダッシュボードはアプリの入力のうちどれだけがキャッシュから提供されたかを示し、診断ツールはリクエストを直近の応答と比較して何が変わったかを特定する。開発者は明示的なキャッシュブレークポイントの選択、キャッシュを壊さない推論強度の調整、ツール定義の安定維持、キャッシュの事前ウォームもできる。

これらの制御の価値は、開発者がプロンプトとツールの安定性をどれだけうまく管理するかにかかっている。設定を一貫して保つチームはデフォルトの性能向上をより多く享受できる一方、変更が多いチームは再利用がどこで失われているかを理解するために新しい診断機能を必要とするかもしれない。