AIToday
大規模言語モデルAIコーディングオープンソースAIAmazon AI Blog掲載日時: 2026年11月21日 13:00

AWS、エージェントツールキットに分散KVキャッシュのスキル追加

LINEで送る
AWS、エージェントツールキットに分散KVキャッシュのスキル追加

3つのポイント

  1. 何が起きたか

    AWSはAgent Toolkit for AWSに分散KVキャッシュのスキルを追加し、KiroやClaude CodeなどがAmazon ElastiCacheのキャッシュを確認・サイジング・構築できるようにした。

  2. なぜ重要か

    このスキルにより、コーディングエージェントが数回のプロンプトで共有キャッシュ層を評価・設定でき、自社運用LLMの導入でサーバー間の冗長な処理を減らせる可能性がある。

誰に効くかvLLMやSGLangの基盤を運用するなど、GPU上でLLMを自社運用するチームは、インフラ導入前にこのスキルで共有キャッシュが費用対効果を生むか評価できる。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

このスキルは、自社運用LLMが大きなコンテキストを再送する際の冗長なGPU処理を避ける手段として位置づけられている。数十万トークンの判例履歴を持つ法律AIアシスタントが典型例だ。弁護士がスレッドに戻ると、リクエストを引き受けたGPUサーバーは応答前に全トークンのキーバリュー注意状態を再計算する。AWSによると、Amazon ElastiCacheによる分散KVキャッシュで自社運用LLMの推論コストを最大40%、最初のトークンまでの時間を最大80%削減できる。スキルはコーディングエージェントを4つのフローで導く。最初のトークンが遅い原因の診断、キャッシュのサイジングと価格算出、構築、転送失敗時のトラブルシューティングだ。費用をかける前に、エージェントは読み取り専用のdescribe-instances呼び出しでGPU基盤を調べ、EFAインターフェースを数える適合性チェックを行う。その後、エンジン、モデル、テンソル並列サイズ、KVデータ型、サーバー価格、プロンプトの繰り返し頻度など、目視できない情報だけを尋ねる。サイジングではKVTraceを使い、追加料金なしで顧客自身のトラフィックから節約額を見積もり、節約額がキャッシュのコストを賄えない場合は停止する。スキルはベストプラクティスも実装しており、ローカル層を空にすること、本番トラフィック前にキャッシュを読み込んだ2回の実行が同じ出力になることを確認すること、影響の大きい操作には明示的な承認を得ることが含まれる。

よくある質問
どのコーディングエージェントがこのスキルを使えるか?
Kiro、Claude Code、OpenAI Codexなど、Agent Skillsに対応するコーディングエージェントで利用できる。
キャッシュの構築には何が必要か?
Agent Skills対応のコーディングエージェント、p5などEFA RDMA書き込み対応のGPUインスタンス、LMCache 0.5.8rc1以降、vLLM 0.11.1以降(またはSGLang 0.5.13以降)、cache.i8ge.48xlargeノード上のElastiCache for Valkey 9.1以降が必要だ。
導入前に節約額をどう見積もるのか?
スキルはKVTraceを使い、追加料金なしで顧客自身のワークロードのトラフィックから節約額を見積もる。節約額がキャッシュのコストを賄えない場合は停止する。
Amazon AI Blog元記事を読む
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

次の記事へオンプレミスAI「LLM Link」が補助金対象ツールに登録