
何が起きたか
ArisGlobalはAmazon Bedrock上のNavaXリクエストの順序を逆にし、共有プロンプトのプレフィックスを先にキャッシュした。
なぜ重要か
共有プレフィックスをキャッシュすることで、ArisGlobalは同じキャッシュエントリをリクエスト、ケース、テナントをまたいで再利用できる。
誰に効くかAmazon Bedrock上でマルチテナントの生成AIワークロードを運用する企業ITおよびAIプラットフォームチームは、安定して繰り返されるプロンプトのプレフィックスを先にキャッシュするようリクエストを並べ替えることで、同様の削減効果を得られる可能性がある。この手法では、共有の指示とスキーマをケースごとの文書より前に置く必要がある。
こういう要約が、毎朝あなたのメールに届きます。
ArisGlobalのNavaXエンジンは製薬企業の有害事象報告を処理し、複数ページのPDFから約130のフィールドを、複数の連続するモデルリクエストにわたって抽出する。各リクエストにはシステム指示、顧客固有のルール、抽出スキーマ、ソース文書が含まれる。異なるスコープで繰り返される入力は2つある。共有プロンプトのプレフィックスは同じエージェントを使うリクエスト、ケース、テナントをまたいで繰り返され、ソース文書は1つのケースに紐づくリクエストでのみ繰り返される。
当初の設計では、リクエストの中で最も大きな部分だったソース文書をキャッシュし、増大する共有プロンプトのプレフィックスはキャッシュの外に置かれていた。ArisGlobalが独自のコンプライアンス要件を持つ企業テナントを追加するにつれ、共有プレフィックスは6か月間で大幅に拡大し、ケースごとの推論コストは比例以上に上昇した。プレフィックスはリクエストごとに再処理されていたため、その増大は取引量と相まって積み上がった。
ArisGlobalは別のチェックポイントを追加するのではなく、順序を変えた。共有プロンプトのプレフィックスを先にし、チェックポイントを後に置き、文書を最後にする。これにより、1つのケース内での限られた文書の再利用を、フリート全体でのプロンプトの再利用と引き換えにした。同社によると、典型的なリクエストの入力トークンの65%が現在共有プロンプトキャッシュから供給されており、本番監視ではキャッシュの読み取りが書き込みを一貫して上回っている。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る
Tricentis「Quality Transformation Report 2026」で世界企業60%、日本企業65.6%が未テストコードを本番投入し、5社に1社が年間100万ドル超の損失と判明

Microsoft Ignite 2026でマイクロソフトはMAI Code 2を発表

Jordan Belfort氏のAI音声スタートアップToneは約100万ドルの売上を上げ、1年以内に経常収益2000万〜3000万ドルを目指す

Microsoftは「Frontier」の一環としてWord、Excel、PowerPointが動作する「Copilot Workspaces」を発表し、個人用Autopilotエージェントも近く導入すると述べた

Metaの最高AI責任者アレクサンダー・ワン氏が11月上旬、消費者向けAIエージェント「Muse」の宣伝としてサム・アルトマン氏ら4者ビデオ通話をAI生成した短いクリップをInstagramに投稿した

Microsoft Ignite後の円卓会議でSatya Nadella CEOは政治経済について「AGIに開眼した」と述べ、単一のAIモデルが支配的になれば民主主義が終わり得ると警告した
