
何が起きたか
AWSはAmazon Bedrockの推論の4つの選択肢(キャッシュ期間、サービス階層、推論の労力、maxTokens)を詳述し検証した。
なぜ重要か
チームはモデルを替えずにリクエスト設定の調整でBedrockの請求額を抑えられるがトレードオフがある。
こういう要約が、毎朝あなたのメールに届きます。
この指針は、企業が生成AIワークロードを試験運用から本番へ移す時期に届いた。本番ではリクエスト単位の設定がクラウドの継続的な請求額に積み上がる。AWSは4つの選択肢を推論リクエスト自体の中にある調整項目として位置づけており、モデルの再学習や差し替えなしで調整できる。プロンプトとアプリケーションのロジックをすでに管理しているチームにとって魅力的な提案だ。
検証はトレードオフのばらつきを浮き彫りにした。コスト面では、1時間キャッシュの書き込みは入力レートの2倍で、5分書き込みの1.25倍に対して高い。そのため長い期間が得になるのは、同じプレフィックスが5分を超える間隔で再出現する場合だけだ。品質面では、推論労力に明確な差が出た。ツール呼び出しエージェントのタスクでは高い労力が出力トークンの中央値を169%増やしたが、コード生成のサンプルでは低い場合と高い場合の差は実行ごとのばらつきの範囲内で、採点されたプログラムはすべて合格した。適切な労力水準は、タスクがモデルの能力の限界にどれだけ近いかで決まることを示唆する。
運用面では、AWSはリクエストのメタデータ、OutputTokenCountやResolvedServiceTierといったCloudWatchメトリクス、呼び出しログ、タスクの合格率をフィードバックループとして挙げている。また、maxTokensは出力の上限であり安全制御ではないと警告し、本番でのコンテンツフィルタリングとプロンプト攻撃検知にはGuardrailsを推奨している。繰り返し強調されるのはモデルごとの検証だ。キャッシュ期間、Flexのサポート、推論のデフォルト値はモデルのバージョンとリージョンによって異なるため、複数モデルにまたがるルーティングでは機能記録が必要になり得る。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る
OneTrustはOneTrust CORIEを基盤とするFall '26リリースを発表し、厳選した基盤モデルライブラリからモデルの関連付けと非推奨指標を継続的に更新するAI台帳を追加した
11月18日の日経「Dialogues on the Future」で、ソフトバンクグループの孫正義氏はAnthropicへの出資見送りを「僕の失敗の一つ」と語った

Cassava TechnologiesがNvidia製チップ購入のため最大10億ドルの調達を検討

Microsoft Ignite 2026でマイクロソフトは赤・青・緑チームのエージェントを組み合わせ攻撃模擬・検知調査・脆弱性修正を行うMicrosoft Perceptionの一般提供を発表した

Microsoft Ignite 2026でWindows Server 2028のパブリックプレビューが公開され、Microsoft Foundry、Windows ML、vLLM、Llama.cppによるAI推論ホス…

BrightAIがSmith Point Capital主導のラウンドで97百万ドルを調達
