
何が起きたか
SalesforceはAmazon SageMaker AIのリージョン間推論ルーティングをInternal Gatewayに組み込み、1回のマネージド呼び出しで30以上の世界のリージョンと別々のAWSアカウント上のエンドポイントにまたがれるようにした。
なぜ重要か
各リージョンに閉じ込められていた容量を、アプリケーションを再設計せずに其他地方で使えるようになる。
注目点
リージョン間推論ルーティングは2026年11月18日から、リアルタイムエンドポイント向けの推論がサポートされるすべての商用リージョンで一般提供される。
誰に効くか多くのクラウドリージョンからAIモデルを提供する大企業のプラットフォーム・インフラチームが主な対象だ。すべてのアプリケーションにヘルスチェックやリトライを組み込む代わりに、フェイルオーバーと容量を考慮したルーティングをマネージド層に任せられる。
こういう要約が、毎朝あなたのメールに届きます。
SalesforceのAgentforce Foundationチームは、顧客のリクエストが届くリージョンから、30以上の世界のリージョンと数百のAWSアカウントにまたがって自社モデルとオープンソースモデルの両方を提供している。顧客ごとにピーク時間帯が異なり、しばしば重なるため、重複するピークに合わせたプロビジョニングは安全だがコストが高すぎ、リージョンごとに容量を追加すると遊休インスタンスが残るリージョンと容量が不足するリージョンが生じる。ルーター導入前、SalesforceのInternal Gatewayは、チームが自ら構築・運用するヘルスチェック、リトライ、リージョン切り替えロジックを使ってオーバーフロートラフィックを他のリージョンに送っていた。この経路にはブログ記事が指摘する2つの欠陥があった。ゲートウェイにはローカルや遠隔のエンドポイントからの容量シグナルがなく、リージョン間トラフィックはNATゲートウェイとインターネットゲートウェイを経由してパブリックなAWSネットワーク上でVPCを出ていた。設計レビューでは、障害時にトラフィックを移すと次のリージョンが過負荷になり得るため、連鎖的な障害のリスクも指摘された。ルーターは各宛先を直近のリクエスト結果から判断することでこれに対処する。プラットフォーム障害、モデルコンテナからの5xxエラー、スロットリング、タイムアウトは宛先の健全性を下げ、トラフィックは通常約1分以内に移動し始めるが、トラフィックの少ない宛先では数分かかることがある。クライアントエラーとモデルのレイテンシーはトラフィックを動かさず、ルーターはモデルのデプロイやインスタンスの追加を行わないため、容量は各エンドポイント自身のオートスケーリングが供給する。Salesforceは各レスポンスの2つのルーティングフィールドを一級のテレメトリーとして扱い、既存のリクエストIDやトレースIDとともに宛先ARNとルーティング理由を記録し、アプリケーションパフォーマンス監視のタグとして出力している。これにより1行のログで、リクエストがローカルで実行されたのか境界を越えたのか、またその理由が分かる。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る
Valleyinが業務アプリを生成するエンジンAiiPo REACTORの外部提供を2026年11月に開始

OpenAIがCodex上に構築したPerformance Factoryは3カ月で1700件超の調査を完了し、600件超で根本原因を特定

2026年11月10日のThinkingAI Summit 2026 Tokyoで、多牛科技の共同CEO兼副総裁Daniel Wang氏がサポートコスト88%削減を起点とするAIエージェント導入の順序を示した

AI insideと橋本ホールディングスが共同記者会見で、合弁会社設立を目指すデータセンター構想を発表

Polimillは2026年11月19日、行政向け生成AI「QommonsAI」がOpenAIの「GPT-6 Luna」による国内推論に対応し、約1200自治体・65万人規模で展開を開始すると発表した

三上源CEO率いるAgeAIは9月17日開始の五反田バレーアクセラレーションプログラム2026に参加し、臨床実証パートナーとなる医療機関や製薬企業を募集している
