端末の小モデルとクラウド振り分けAI基盤公開

AAIFの登場は、AIエージェントを導入する企業が共通のコスト罠に苦しむ中で実現した。定型的なステータス確認であっても、あらゆるリクエストを単一の大規模クラウドモデルへ送ってしまう問題だ。AWSの投稿はAAIFを、振り分けの判断と処理ツールを分離し、それぞれを独立に差し替え・再設定できる代替案として位置づける。この手法はNVIDIAのBelcak氏らの研究提言に基づく。多くのエージェント呼び出しには小規模言語モデルで十分な性能があり、より経済的だと論じたものだ。

リファレンス実装はIoT監視のシナリオを用い、Strandsエージェントを、10億パラメータのオーケストレーターとビジョンモデルの両方をホストするOllamaランタイムに接続する。デバイスのテレメトリ、カメラ映像の分析、Amazon Bedrock経由の専門家インサイトという3つのツールが処理を担う。AWSは、ローカルのオーケストレーターを残しつつ難しいリクエスト向けにクラウドモデルを追加するハイブリッド構成により、有料APIエンドポイントに到達しない約80パーセントのトラフィック分のコスト削減が見込めるとしている。

AWSはIoT以外にも、医療の患者監視、金融取引処理、製造業の品質管理への応用が可能だと示す。ローカル処理で機密データをオンプレミスに留め、広範な分析はクラウドモデルが担う。本番導入では、ツールをModel Context Protocolサーバーとして公開して複数エージェントの管理を一元化し、責任あるAIの制御のためにクラウド推論経路へAmazon Bedrock Guardrailsを追加することを推奨している。