Cerebriumが分散ルーター「Thalamus」を公開——複数地域のGPUクラスタ間でリアルタイムAIリクエストをルーティング

Cerebriumは、複数の大陸にある複数のGPUプロバイダーのクラスタ間でAIワークロードをルーティングするためにThalusを構築した。同社の顧客アプリが複数のデータセンターに分散して実行される際に、どのクラスタがリクエストを処理すべきかを決定する必要があるため。

Thalusはミリ秒単位の予算内で決定を下す。各クラスタ内の「cluster-aggregator」がローカル情報（スケール変動、稼働・予約容量、GPU種別、ヘルス、ノードコスト）を中央データストアに継続的にプッシュし、各Thamusインスタンスが局所キャッシュから読み取ることで、リモート呼び出しをホットパスから排除している。

Thalusの決定により、顧客はどのクラスタでコードが実行されるかを管理する代わりに、配信に集中できる。ルーティング先を誤ると、リアルタイムテキスト音声変換リクエストなどの低遅延ワークロードでレイテンシ予算を超過し、顧客を失う可能性がある。