グローバルなクロスリージョン推論プロファイルはどれくらい安いのか？

Amazonによると、グローバルなクロスリージョン推論は地理的プロファイルより約10%安い。

自分のデータはMoonshot AIと共有されたり、トレーニングに使われたりするのか？

AWSによれば、データはAWSのデータ境界内で処理され、モデルプロバイダーとは共有されず、基盤モデルのトレーニングにも使われない。

prompt_cache_breakpointを使えば、少なくとも1,024トークン以降で再利用可能なプロンプトプレフィックスの終端を指定できる。

何が起きたか
Moonshot AIのKimi K3がAmazon Bedrockで利用可能に。
なぜ重要か
Kimi K3は、明示的なプロンプトキャッシュを備えた初のBedrock上のオープンウェイトモデル。呼び出し間でコンテキストを再利用する際の遅延と入力コストを削減する狙い。
注目点
価値は、プロンプト再利用のワークロードが実際にキャッシュにヒットするかどうかにかかっている。キャッシュされたトークンは前払いの課金が高く、少なくとも30分間保持される。

誰に効くかAmazon Bedrock上で長いコンテキストのコーディングやナレッジワークフローを運用する企業AIプラットフォームチームが最初に影響を受ける。キャッシュとクロスリージョンプロファイルが、こうしたワークロードの遅延と入力トークンの課金を変えるためだ。

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

よくある質問

グローバルなクロスリージョン推論プロファイルはどれくらい安いのか？: Amazonによると、グローバルなクロスリージョン推論は地理的プロファイルより約10%安い。
自分のデータはMoonshot AIと共有されたり、トレーニングに使われたりするのか？: AWSによれば、データはAWSのデータ境界内で処理され、モデルプロバイダーとは共有されず、基盤モデルのトレーニングにも使われない。
キャッシュの最小プロンプトサイズは？: prompt_cache_breakpointを使えば、少なくとも1,024トークン以降で再利用可能なプロンプトプレフィックスの終端を指定できる。