Amazon Bedrockのプロンプトキャッシュで

このガイドは映画の比喩で問題を説明する。エージェントが一歩進むたびに、モデルはリクエスト間で内部メモリを保持しないため、これまでの物語全体——ツール定義、開発者の指示、過去のツール呼び出しと結果——を再送する。コーディングセッションの20ターン目には、モデルは1〜19ターンを再読し、ユーザーはそのトークンに再び支払う。プロンプトキャッシュは、プリフィル中にモデルのキーバリュー作業状態を保存し、入力テキストが一致すれば次のリクエストで読み込むことでこれに対処する。

見出しのコスト数値に加え、記事は暗黙モードと明示モードの実用的な違いを描く。暗黙モードではBedrockが成長する会話に自動的に従い、明示モードではコードが再利用可能な端点を指定する。それぞれが合うケースを順に説明する。静的なツールと指示のプレフィックス、additional_tools項目でセッション途中に新しいツールが加わる場合、異なるエージェント役割ごとの別々のツールプロファイル、共有プレフィックスを一度温めてから展開するサブエージェント。別々のセッションが共有すべきときにエントリを共有できるのは、安定したprompt_cache_keyによる。

AWSは制限も指摘する。タイムスタンプ、メッセージ、ツール定義を変更すると、その変更以降の再利用が妨げられ、単一のブレークポイントを動かすと、前ターンのブレークポイントを維持しない限り書き込みが繰り返されることがある。記事は、キャッシュをエージェントと併用するとツールやシステムプロンプトが漏洩・悪用され得ると述べ、責任あるAIガバナンスにキャッシュを含めるよう助言する。締めのチェックリストとコスト監視の指針が運用面を補完する。