OpenAI、10億人超支えるストレージ基盤を説明

OpenAIのHabitatは当初、シンプルなクライアントライブラリとデータベースだったが、世界的に分散したストレージ基盤へと成長した。連載の第2回でOpenAIは、当初はAzure Cosmos DBの組み込みプリミティブに依存していたものの、データ増加に伴いパーティションキーの衝突、ノイジーネイバー、弱いパーティションといった問題に直面したと説明している。次に同社は分離のためシングルテナントのコンテナを試したが、この方式では全製品チームにとって容量計画が負担となった。OpenAIは最終的に、Azureと協力してホットキーのスロットリング、リクエストの階層化、改良されたサーバーレスモードを追加した上で、マルチテナント設計に戻した。これらの変更により、ワークロード間の分離を保ちながら手動プロビジョニングが不要になった。

OpenAIはAzureとの関係の変遷についても述べている。Azure Cosmos DBの最大級の利用者であるOpenAIは、自社の規模ではマネージドサービスが十分にマネージドではなくなると分かり、2024年末の障害でフェイルオーバーテストの不備が露呈した。両チームは現在、サービスから物理ストレージまであらゆる層を共同で監視し、ダッシュボードを共有し、サポート階層を経由せず直接互いに呼び出せる。この共同エンジニアリングがシステムを安定化させた。

性能面では、OpenAIはHabitatのリクエストの90%超を占める読み取り中心のワークロードに注力した。レイテンシに敏感な小規模データセットを広く複製し、無効化にAzure Cosmos DBのチェンジフィードを使う分散キャッシュを統合し、HabitatサービスをRustで書き直した。これらの変更により、世界の読み取り中央値レイテンシは約120msから約10msに低下した。OpenAIは、容量が増えるにつれてデータをアクセスされる場所の近くに配置することで、残る最も遅いリクエストにも対応する計画だとしている。