AWSがRayとSageMaker HyperPodを統合し、ML学習と推論を容易にした。
データサイエンティストはKubernetesの知識なしでStudioからクラスターを管理できる。
自動ノード復旧やハングジョブ検出などの耐障害性機能も追加された。
何が起きたか
AWSはAmazon SageMaker HyperPod向けの新たなRay機能を発表した。RayとHyperPodのインフラを統合し、基盤モデルの学習と推論を支援する。データサイエンティストはKubernetesのマニフェストを書かずに、SageMaker StudioからRayクラスターの作成、ダッシュボードの表示、ジョブの送信ができるようになった。
なぜ重要か
YAMLの記述やダッシュボード設定といった手作業を省き、Kubernetes上でのRay利用を簡素化する。自動フォールトトレランス、ハングジョブ検出、段階的チェックポイントによる堅牢な学習と、大規模モデル向けの高速リカバリも追加された。国内のデータサイエンティストは、基盤モデル開発の作業負荷が軽減される可能性がある。
注目点
この統合はオープンソースのKubeRayと標準的なRay APIを使用するため、既存のスクリプトは変更なしで動作する。Ray DashboardとGrafanaダッシュボードには、IAM認証エンドポイント経由でどこからでも安全にアクセスできる。
今回の発表は、Ray on Kubernetesの運用負荷を軽減し、管理をSageMaker Studioに組み込んだ点が特徴だ。従来はデータサイエンティストがYAMLやDockerリビルド、オブザーバビリティ設定を手動で行う必要があった。今回、HyperPod Observabilityアドオンがメトリクス収集を自動化し、4つのGrafanaダッシュボードを標準提供することで、セットアップ時間を短縮した。
耐障害性機能は大規模学習で特に有効だ。自動ノード復旧と段階的チェックポイントにより、ハードウェア障害が発生してもジョブを継続でき、ハングジョブ検出でGPU時間の無駄を防げる。既存のRayコードで動作する設計のため、導入もしやすい。
推論面では、SageMaker JumpStart統合によりモデル重みを直接Ray Serveエンドポイントにロードできる。KVキャッシュの階層ストレージへのオフロードは長文コンテキストのリクエストをサポートする。大規模言語モデルを展開するチームにとって有用だが、性能指標よりも技術的な機能に焦点を当てた内容となっている。
AIが要約して、あなたの選んだトピックだけを1日1通。LINE・Email・Slackで届きます。
登録無料・30秒で完了・いつでも解除できます
この記事についてわからないことをAIに質問できます。Q&Aはこのページに公開され、他の読者も読めます。
エヌビディアはAI検索スタートアップのパープレキシティAIに対し、評価額300億ドル超で再出資する方向で協議中と報じられた
スタンフォード大学の研究で、形式化・標準化・文書化された知識に依存する職業は初級レベルの雇用成長が鈍く、実践や指導を通じて得る暗黙知に依存する職業は中堅・ベテラン層の成長が大きいことが判明した
ベライゾンとグーグルクラウドは月曜日に戦略的提携を発表した
ブリストル・マイヤーズ スクイブ（BMS）は、Chai Discoveryと提携し、同社の生成AIをBMSのポートフォリオ全体での抗体設計に活用する
研究者らがGoogle Cloud Vertex AIを使い、骨折または非骨折を分類するノーコードAutoMLモデルを構築
グーグルクラウドはベライゾンと戦略的提携を発表し、Gemini Enterpriseを含むフルスタックAIをベライゾンの顧客体験と企業運営に導入する
