AIToday
大規模言語モデルAIビジネス・産業Amazon AI Blog掲載日時: 2026年11月19日 6:00

SalesforceがSageMaker AIでリージョン間推論

LINEで送る
SalesforceがSageMaker AIでリージョン間推論

3つのポイント

  1. 何が起きたか

    SalesforceはAmazon SageMaker AIのリージョン間推論ルーティングをInternal Gatewayに組み込み、1回のマネージド呼び出しで30以上の世界のリージョンと別々のAWSアカウント上のエンドポイントにまたがれるようにした。

  2. なぜ重要か

    各リージョンに閉じ込められていた容量を、アプリケーションを再設計せずに其他地方で使えるようになる。

  3. 注目点

    リージョン間推論ルーティングは2026年11月18日から、リアルタイムエンドポイント向けの推論がサポートされるすべての商用リージョンで一般提供される。

誰に効くか多くのクラウドリージョンからAIモデルを提供する大企業のプラットフォーム・インフラチームが主な対象だ。すべてのアプリケーションにヘルスチェックやリトライを組み込む代わりに、フェイルオーバーと容量を考慮したルーティングをマネージド層に任せられる。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

SalesforceのAgentforce Foundationチームは、顧客のリクエストが届くリージョンから、30以上の世界のリージョンと数百のAWSアカウントにまたがって自社モデルとオープンソースモデルの両方を提供している。顧客ごとにピーク時間帯が異なり、しばしば重なるため、重複するピークに合わせたプロビジョニングは安全だがコストが高すぎ、リージョンごとに容量を追加すると遊休インスタンスが残るリージョンと容量が不足するリージョンが生じる。ルーター導入前、SalesforceのInternal Gatewayは、チームが自ら構築・運用するヘルスチェック、リトライ、リージョン切り替えロジックを使ってオーバーフロートラフィックを他のリージョンに送っていた。この経路にはブログ記事が指摘する2つの欠陥があった。ゲートウェイにはローカルや遠隔のエンドポイントからの容量シグナルがなく、リージョン間トラフィックはNATゲートウェイとインターネットゲートウェイを経由してパブリックなAWSネットワーク上でVPCを出ていた。設計レビューでは、障害時にトラフィックを移すと次のリージョンが過負荷になり得るため、連鎖的な障害のリスクも指摘された。ルーターは各宛先を直近のリクエスト結果から判断することでこれに対処する。プラットフォーム障害、モデルコンテナからの5xxエラー、スロットリング、タイムアウトは宛先の健全性を下げ、トラフィックは通常約1分以内に移動し始めるが、トラフィックの少ない宛先では数分かかることがある。クライアントエラーとモデルのレイテンシーはトラフィックを動かさず、ルーターはモデルのデプロイやインスタンスの追加を行わないため、容量は各エンドポイント自身のオートスケーリングが供給する。Salesforceは各レスポンスの2つのルーティングフィールドを一級のテレメトリーとして扱い、既存のリクエストIDやトレースIDとともに宛先ARNとルーティング理由を記録し、アプリケーションパフォーマンス監視のタグとして出力している。これにより1行のログで、リクエストがローカルで実行されたのか境界を越えたのか、またその理由が分かる。

よくある質問
Salesforceはリージョン間でルーティングしながら、どうデータレジデンシーの約束を守るのか?
Internal Gatewayではレジデンシーチェックが唯一のルーティング判断だ。レジデンシー要件のタグが付いたリクエストは、唯一の宛先がローカルエンドポイントであるリージョン内ルーティングターゲットに送られるため、境界を越えてフェイルオーバーすることは決してない。
Salesforceのフェイルオーバー試験では何が示されたか?
約5分間の飽和状態で、p50レイテンシーは0.2秒から45~58秒に上昇したが、トラフィックはローカルにとどまった。リクエストがエラーを返し始めると、最初のリクエストが約2分後にus-east-2に到達し、さらに1分以内にプローブトラフィックの約78%がそこで処理された。
リージョン間推論ルーティングはいつ一般提供されるのか?
2026年11月18日から、リアルタイムエンドポイント向けの推論がサポートされるすべての商用リージョンで一般提供される。
Amazon AI Blog元記事を読む
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

次の記事へOpenAI講演、超知能への支配譲渡は不可避との前提を拒否