AIToday
大規模言語モデルAIコーディングAmazon AI Blog掲載日時: 2026年11月13日 4:00

Amazon BedrockでLLMゲートウェイ構築

LINEで送る
Amazon BedrockでLLMゲートウェイ構築

3つのポイント

  1. 何が起きたか

    AWSはAWS Fargate上のLiteLLMで構築し、Amazon BedrockのモデルをOpenAI互換APIで前面に出すセルフサービスLLMゲートウェイのガイドを公開した。

  2. なぜ重要か

    AWS自身が数百人の開発者向けに導入した際、モデルが生の推論プロファイルARNの場合、モデル別の入力・出力コストを設定しない限りLiteLLMはトークンあたり$0と記録し、予算が発動しないと分かった。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

AWSが示すパターンは、開発者とAmazon Bedrockの間にプロキシ層を置き、Claude Code、Continue、Cursorといったコーディングアシスタントが1つのOpenAI互換エンドポイントと通信できるようにするものだ。Claude SonnetやClaude Haikuなどの各モデルには専用のBedrock Application Inference Profileが割り当てられ、これがクォータの分離と、LiteLLMの設定とBedrockのモデルバージョン管理の明確な切り分けをもたらすとAWSは説明する。プロキシの背後では、Amazon RDS for PostgreSQLが仮想キーと支出の状態を保持し、Amazon ElastiCache for Valkeyがキャッシュとレート制限を担い、Secrets Managerが認証情報を供給する。

細部はAWSの運用上の知見にある。Claudeの拡張思考を使うリクエストは数分かかることがあるため、ガイドはロードバランサーのアイドルタイムアウトを少なくとも900秒にするよう勧める。スロットリングについては、SonnetからHaikuへのフォールバックに反対する。モデルを変えるとコーディングアシスタントが前提とする一貫した挙動が崩れるためだ。代わりに同じモデルを指数バックオフで再試行する。またCI/CDと自動コードレビューのトラフィックは専用の推論プロファイルに分離する。自動化と開発者の対話型トラフィックを混ぜるとレイテンシーが予測できなくなり、コストの帰属も難しくなるからだ。AWSは当初Geographic(US)クロスリージョン推論で始め、リージョンのクォータ上限に達した後、Globalクロスリージョン推論へ移行したと述べている。

ガイドはさらに小さな導入の落とし穴も指摘する。Fargateタスクの安全な下限として約2 GBのメモリが挙げられ、起動時に設定をレンダリングする場合はコンテナのエントリーポイントを上書きする必要があり、IAMロールとセキュリティグループの説明はASCIIでなければならない。この投稿は単一のデプロイ可能なスタックではなく例示的なスニペットを提供するため、AWSは一発での解体コマンドはないとし、削除するまで課金が続くリソースを列挙している。

よくある質問
開発者はコーディングツール側で何を設定する必要があるのか?
設定は1つだけだ。OpenAI互換プロバイダー、単一のベースURL、個人用APIキー、そしてclaude-sonnet-4-20250514のようなモデル名を指定する。
開発者が予算上限に達するとどうなるのか?
LiteLLMは予算を超過した旨のメッセージとともにHTTP 429コードを返す。黙って品質を落としたり、想定外の請求を生じさせたりはしない。
セルフサービス式のキーポータルは無料のオープンソース版LiteLLMで動くのか?
動かない。無料版は仮想キーに対応するが、説明されているセルフサービス式のキー発行にはEnterprise版が必要だ。オープンソースのゲートウェイは最大5ユーザーまで無料と記されている。
Amazon AI Blog元記事を読む
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

マイクロソフトがAIエージェントで攻撃対抗サービス提供開始

Microsoft Ignite 2026でマイクロソフトは赤・青・緑チームのエージェントを組み合わせ攻撃模擬・検知調査・脆弱性修正を行うMicrosoft Perceptionの一般提供を発表した

NEWPublickey4時間前

Windows Server 2028がパブリックプレビュー公開

Microsoft Ignite 2026でWindows Server 2028のパブリックプレビューが公開され、Microsoft Foundry、Windows ML、vLLM、Llama.cppによるAI推論ホス…

NEWPublickey4時間前

AUMOVIOがLLMの唯一の経路をDatabricksに統一

AUMOVIOはDatabricks Unity GatewayをLLMへの唯一の経路に採用

NEWDatabricks AI Blog4時間前

CADMAGEDDON、5ベンチマークで最先端CADモデル超え

CADMAGEDDONはBenchCADの64³ボクセルIoUで、1000部品のサブセットにおいて0.991を記録し、Claude Sonnet 5.5の0.963、Claude Opus 5.5の0.962、GPT-6…

NEWAI Weekly4時間前

MIT Technology ReviewのAI指数、AIは遍在

MIT Technology ReviewのAI誇大広告指数はAIの広がりを示し、GoogleのAI Overviewsが広告収入で数十億ドルを失わせたことやAI支援のサイバー攻撃を挙げた

NEWMIT Technology Review AI4時間前

Thomas Nagel、AI意識説を「馬鹿げている」と一蹴

哲学者トーマス・ナゲル氏はバーグルエン賞受賞後のインタビューで、大規模言語モデルが意識を持つ可能性を真剣に受け止めるのは「馬鹿げている」と述べ、AnthropicのClaudeへのアプローチを「犯罪的」と呼んだ

NEWWIRED AI4時間前
次の記事へGemini 4 Hydrogenを発表