Agent Routerを試用、エージェント振り分け断念

筆者はAgent Router（旧Envoy AI Gateway）について読み、その役割を十分に理解できなかったため、実際に試すことにした。このツールはアプリケーションからのLLMリクエストを受け付け、設定に応じて適切なプロバイダーやモデルへ振り分けるオープンソースのAIゲートウェイだ。試すにあたり、筆者はコマンドラインツールaigwを導入し、Amazon BedrockのClaudeとGPTモデル向けのルートを定義したYAMLファイルを書き、aigw run agent-router.yamlでゲートウェイを起動したうえで、localhost:1975の単一エンドポイントにテストリクエストを送った。

テストの結果、Agent RouterはプロバイダーごとのAPIの違いを単一のPOST /v1/chat/completionsエンドポイントにまとめられることが分かり、呼び出す側のアプリケーションはサービスごとにコードを分岐させる必要がない。しかし筆者の本来の動機は別にあった。Webアプリ内で動くAIエージェントをルーティングしたかったのだ。WebアプリからのAPIリクエストを各プロバイダーやモデルへ振り分ける用途には向いていそうだが、各種SDKで作ったエージェントの振り分けは難しそうに見え、筆者はその目的を当面放棄した。こうして現時点でこのツールが得意なことと、まだ対応していないことの線引きが明示されている。