GPUスケジューラを時間予算方式に刷新

Ai2は88基から1024基のGPUで構成されるクラスタにわたり、数千基のNVIDIA H100、B200、B300 GPUを運用し、約150名の社内研究者に提供している。GPU時間の需要は一貫して供給を上回り、未処理のリクエストは利用可能なGPUの2〜3倍に達している。旧来の優先度ベースのスケジューラではワークロードがプリエンプト対象外を選べたため、GPUの「占有」と優先度のインフレが生じ、最終的にはスケジュールされたワークロードの100%がHIGH優先度を使用するようになった。オンコールのエンジニアはチケット対応時間の大半を、メンテナンスが必要なホスト上のプリエンプト不可ワークロードの停止交渉に費やしていた。

新しい予算ベースのシステムは、各プロジェクトにGPU時間の保証されたシェアを割り当てる。例えばプロジェクトA1は総キャパシティの35%を要求している。階層型フェアシェアスケジューラは7日間のルックバックウィンドウで占有状況を追跡し、それに応じてワークロードを並べ替える。ワークロードはプリエンプト保護と引き換えに最小実行時間を宣言する必要がある。最小実行時間はゼロに設定でき、その場合は無料だがプリエンプト可能になる。展開は7月末にクラスタごとに始まった。

履歴データと構築したシナリオを用いたシミュレーションでは、デバッグ作業の待ち時間が約6時間から5分に短縮すると予測されたが、実際の結果はそれを上回り、p90待ち時間は2時間から30秒に短縮された。占有率は導入前後で98%と安定し、提供されたGPU時間の18%は未割当だった。学習曲線は想定より急で、ライブの説明セッションがドキュメントだけよりも効果的であることが分かった。