AIToday
AIビジネス・産業Together AI Blog掲載日時: 2026年10月28日 6:00

GPUノードの自動修復機能を一般提供

LINEで送る
GPUノードの自動修復機能を一般提供

3つのポイント

  1. 何が起きたか

    Together AIはノード自動修復機能の一般提供を開始した。失敗したヘルスチェックが裏付けとなる場合に限りノードを修復する。

  2. なぜ重要か

    壊れたノードと一時的に到達不能なノードが同じに見えるNotReadyシグナルを避け、ドライバやストレージ障害で大量交換が起きない安全策を備える。

誰に効くかトレーニングや推論のために大規模なGPUフリートを運用するチームと、そのクラスタを運用するプラットフォームエンジニアは、独自の検知器を受け入れ、各障害の承認者を定義する修復パイプラインを手に入れる。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

Together AIは今年初め、完全自動のノード修復機能を初めて発表した。GPUクラスタの顧客と社内推論プラットフォームの双方がこの機能をワークロードの回復力向上とダウンタイム最小化に活用してきたとし、今回その仕組みを説明している。

設計は、多くのノード自動修復が単一のシグナル、すなわちノードがNotReadyになったことに依存している点への明確な批判から始まる。このシグナルはノードが壊れていても一時的に到達不能なだけでも同じに見え、ストレージやネットワークのイベントが多数のノードに同時に及ぶと、影響を受けた全ノードがNotReadyに落ちる。Togetherのルールは、失敗したヘルスチェックの裏付けなしにノード修復は行わないというもので、すべての修復には根拠が伴う。

パイプラインはハイパーバイザーの両側で検知を行う。GPUは顧客のVMに直接パススルーされる一方、ホストとファブリックの障害はホストから見えるためだ。最初の3段階(検知、判断、修復)は顧客のクラスタ上で実行され、第4段階の再検証はノードが先ほど退いた物理ホスト上のTogetherインフラで実行される。修復の判断はGPUベンダーではなくアラート、ノード、マシンに基づくため、新しいアクセラレータを導入する際は検知と診断の部品を追加するだけで、下流はすべてそのまま引き継がれる。

よくある質問
自動修復システムに独自の障害検知器を使えますか。
はい。NVSentinelやカスタムコントローラなどの検知器は、単一のノードラベルとアノテーションを書き込むことで修復を起動できます。この機能はプレビュー段階です。
ノードがアイドルになるまでシステムはどれだけ待機しますか。
「Wait for idle」の保留はデフォルトで最大2時間、上限24時間です。実行中のジョブを一切中断しない設定も可能です。
同じ障害が1台のマシンで繰り返し発生した場合はどうなりますか。
同じアクションを2回実行した後に障害が再発すると、次の推奨は再起動から再プロビジョニングへなど、エスカレーションのはしごを1段上がります。
Together AI Blog元記事を読む
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

次の記事へAnthropicがS-1公開、売上は計算費用の2倍超