
Cerebriumは、複数の大陸にある複数のGPUプロバイダーのクラスタ間でAIワークロードをルーティングするためにThalusを構築した。同社の顧客アプリが複数のデータセンターに分散して実行される際に、どのクラスタがリクエストを処理すべきかを決定する必要があるため。
Thalusはミリ秒単位の予算内で決定を下す。各クラスタ内の「cluster-aggregator」がローカル情報(スケール変動、稼働・予約容量、GPU種別、ヘルス、ノードコスト)を中央データストアに継続的にプッシュし、各Thamusインスタンスが局所キャッシュから読み取ることで、リモート呼び出しをホットパスから排除している。
Thalusの決定により、顧客はどのクラスタでコードが実行されるかを管理する代わりに、配信に集中できる。ルーティング先を誤ると、リアルタイムテキスト音声変換リクエストなどの低遅延ワークロードでレイテンシ予算を超過し、顧客を失う可能性がある。
こういう要約が、毎朝あなたのメールに届きます。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る
次の記事へGoogleがNotebookLMをGemini 3.5にアップグレード、クラウドコンピューターとソース検索機能を追加