AIToday
大規模言語モデルAIビジネス・産業Amazon AI Blog掲載日時: 2026年11月12日 10:00

SageMaker HyperPodが破損を検出

LINEで送る
SageMaker HyperPodが破損を検出

3つのポイント

  1. 何が起きたか

    Amazon SageMaker HyperPodが非有限勾配、リングリプレイ監査、重みフィンガープリント比較の3種のチェックを追加し、NVIDIA H100 GPU 32基で検証した。

  2. なぜ重要か

    ECCやXidエラー、詳細ヘルスチェックといった既存の保護機構は、ハードウェアが障害を報告しないサイレントデータ破損を見逃すため、学習コード内部でしか検出できない。

誰に効くかSageMaker HyperPodで大規模分散学習を動かす機械学習エンジニアは、破損した勾配や重みが原因不明の発散や性能低下を招く前に、障害GPUを特定して交換できるようになる。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

サイレントデータ破損が特に厄介なのは、演算経路に潜む点だ。テンソルコアの誤った結果を指摘するECCもパリティもそこにはない。既存の整合性チェックはそれぞれ別の境界を守っている。メモリ、ドライバ障害、転送、ストレージの往復だ。いずれも演算そのものが正しく計算されたかは検証しない。

3つのチェックは、障害が及ぶ場所に応じて層をなす。非有限勾配チェックはオールリデュース前に暴走する値を捉える。リングリプレイ監査はピアのマイクロバッチを再計算して有限の誤値を捉える。重みフィンガープリント比較はオプティマイザのステップや保存済み重みの障害を捉える。チェックは各学習ステップ内で固定順に走り、発火すると疑わしいランクをKubernetesのノード名でノードに対応付ける。HyperPodはノードをコルドンして交換し、疑わしい期間の前に保存したチェックポイントから学習を再開する。

この手法はデータ並列性に依存する。オプティマイザのステップ後、全レプリカの重みはビット単位で一致していなければならない。この性質により参照モデルなしで比較できる。H100 GPU 32基でソフトウェアによる障害を注入した試験では、更新直後に破損した重みが次のチェックポイントステップで検出され、保存は行われなかった。

よくある質問
サイレントデータ破損とは何か?
GPUなどのハードウェアが誤りであるのに起動可能な数値を返し、エラーを出さない現象だ。その誤った値が全レプリカの勾配と重みに流れ込む。
3つのチェックはどう違うのか?
非有限勾配チェックは発生したステップでNaNやInfを検出する。リングリプレイ監査は別ノードのマイクロバッチを再計算して有限の誤値を検出する。重みフィンガープリント比較はオプティマイザのステップや保存済み重みの破損を検出する。
チェック利用の最低要件は?
Amazon EKSでオーケストレーションされたSageMaker HyperPodクラスターにGPUノードが3基以上必要で、共有ストレージへのチェックポイント保存とSageMaker HyperPod可観測性アドオンも要る。
Amazon AI Blog元記事を読む
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

次の記事へSalesforceが改善エージェント公開