LinkedInがGPU効率を2倍に

2016年にMicrosoftに買収されたLinkedInは、先月始まり来年6月に終わる会計年度のデータセンター支出を横ばいに抑えることを決定した。大規模なクラウドおよびAIプラットフォームが新しいデータセンター構築と資金調達で競争する中、LinkedInの経営陣はWIREDに対して、GPU投資を一定に保ち、計算とストレージの規模を横ばいに抑えることを発表した。この決定は、LinkedInのエンジニアリング チームが過去6か月間で既存GPUの効率を2倍にする方法を見つけたことで可能になった。

この効率向上への道のりは数年前に始まった。LinkedInがオレゴン州、テキサス州、バージニア州に独自データセンターを構築し始めた2022年のことだ。当時、同社はMicrosoft Azureの利用を試みたが、適合性は低かった。「Microsoft Azureは猛烈な勢いで成長し、顧客需要のレベルは空前だったし、同時にLinkedIn側でも急速な成長を目撃していた」と、LinkedInのインフラ最高技術責任者であるラグー・ヒレマガルアは述べた。独自データセンターの所有により、LinkedInはインフラのあらゆる詳細を支配下に置き、その後の最適化作業の段階を整えた。ほぼ同時に、LinkedInはユーザーが メッセージを書き、仕事を見つけ、候補者を採用するのを支援するAIベースのアシスタント開発を開始—エスカレーション するコスト付きの作業だった。「われわれのサイトに来ているすべてのクエリのコストは時とともに増加している」とヒレマガルアは説明し、LinkedInの保存データが年間2倍になっていることに言及した。「それは持続不可能な場所だ。」

LinkedInの対応は体系的だった。ヒレマガルアのチームは個別チームがどれだけの計算とストレージを使用しているかを理解するための測定ツールを開発し、その後プロジェクトをデータセンターコンピューター全体でより効率的に配分し、アイドル時間を削減するための配分システムをセットアップした。結果は印象的だった。LinkedInは学習側のGPU利用率を95%を超えるレベルに達成し、ヒレマガルアがこれまで見た「最高」と表現した。同社はまたモデル蒸留を採用し、大規模モデルから小規模AI モデルを学習させた。ジョブレコメンデーションについては、単一の小規模モデルが2つの大規模モデルから学習し、関連するジョブ開始を特定し、どのユーザーがそれらをクリックするかを予測した。より小規模でありながら、モデルは品質を損なわなかった—ユーザーは以前は見つけられなかった職業を発見していたのは、モデルが彼らの好みをより深く理解していたからだ。

LinkedInは数十の他の改善を実施した。同社はモデル学習を効率化し、先行推奨の情報を再利用し、CPUとGPU間のワークロードバランスを改善した。Nvidiaプロセッサー上の基礎ソフトウェアを改編し、それらが設計されたより大規模なタスクを処理させ、一部の作業をより高価で調達が難しく、電力消費が多いNvidia GPUの代わりにCPUで実行するようリルーティングした。これらの取り組みは合わせて過去1年間に約2,400万ドル（約38億円）を節約—1年間24時間稼働するGPU1,100台分に相当した。

LinkedInのエンジニアリング最高技術責任者であるエラン・バーガーは、これらの削減は年間売上180億ドル（約2.9兆円）の企業にとって控えめだが、より深い価値を強調した。「設定した1つの目標は、基本的には計算フットプリントを横ばいに保つ、またはできるだけ横ばいに近づけることを試みながら、本番にはより計算量が多いことを投入することだ」と彼は述べた。「それは今日の世界では相当大胆な声明だ。」バーガーは効率向上が時を重ねて複合され、将来のデータセンター拡張からより多くの価値を得られるとLinkedInに信じさせると考えている。両経営陣は制約がエンジニアリング チームをより創意的にするよう促し、解放されたリソースがエンジニアが新しいプロジェクトでより迅速に動けるようにすることを強調した。「われわれの規模の企業について、丸1年間、追加の保存と計算なしでこれをするとは言うことについてマークを二重にしたい。だが、そこに到達するには膨大な作業がかかった」とヒレマガルアは述べた。

LinkedInの動きは業界における「トークノミクス」に向けた広がる傾向を反映している—生成型AIの使用コスト深い分析。プリンシパルベンチャーパートナーズのマネージングパートナーで、サーバーメーカーHP の理事会メンバーであるソンギー・ユーンはLinkedInのアプローチを奨励と呼んだ。「これはAIが実験から本番運用規律へと動き始めていることを示唆している。勝利する企業は単にインフラに最も支出する企業ではないだろう。」Gartnerのチラグ・デカテは企業が「購入多時代」から「実現多時代」へと進化し、LinkedInのインフラ支配がない小規模企業でさえコスト削減方法を見つけている—未使用ソフトウェアの削減、安価なネオクラウドへの移行、各プロジェクトに最も低コストのAIモデル採用だと追加した。

横ばい支出にもかかわらず、LinkedInのデータセンターは停滞していない。同社は破損したり時間経過で劣化したサーバーを置き換えるため今後数か月間新しいサーバーを購入し続けるだろう。しかし、同社は事前購入による削減効果を得た。ヒレマガルアはサーバーコストが劇的に急増したこと、一部は過去数か月で価格が3倍に跳ね上がったことに言及した。LinkedInは今後のデータセンター成長の可能性を否定していない—バーガーは同社は「混沌を抱拥」することを選択し、長期的な投資収益率に注視しながら四半期ごとに進めることと述べた。だがデカテとLinkedIn自身の経営陣は横ばい支出戦略が限界に直面できることを警告した。AIのハードウェア需要は急速に変わり、いずれの時点で、いずれかのAI野心または支出命令が変わらなければならなくなる可能性があるのだ。

LinkedInがデータセンター支出を横ばいに抑える決定は、業界全体のインフラ競争と劇的な対比をなしている。OpenAI、Meta、Googleが新しいデータセンター構築のための資金調達とパートナーシップ構築に必死な一方で、LinkedInは持続不可能な支出と称するものに対して異議を唱えている。同社の動きは具体的な技術的成果に根ざしている。過去6か月間で、LinkedInのエンジニアリング チームは既存のGPUフリート効率を2倍にし、同じハードウェアから2倍の仕事量を引き出すことに成功したのだ。

この効率向上は偶然ではなく、LinkedInはMicrosoftが傘下に置く前、オレゴン州、テキサス州、バージニア州に独自データセンターを構築するのに何年もかけた。当時、Microsoft Azureの利用を検討していたが、プロフェッショナルネットワークの規模には経済的に見合わないと判断したのだ。インフラを支配下に置いた後、同社は測定、最適化、再設計に大きく投資した。チームは個別プロジェクトがどの程度の計算とストレージを使用しているかを追跡するツールを開発し、アイドル状態のハードウェアを削減する配分システムを構築し、大規模モデルから蒸留させた小規模モデルを導入した。その結果は単なるコスト削減だけではなく—過去1年間に約2,400万ドル（約38億円）と推定—製品品質の維持または改善、例えば、それまで見つけられなかった職業開始ツール助成するジョブレコメンデーション機能も実現した。

LinkedInのアプローチは「トークノミクス」と呼ばれる業界の広がる傾向を反映している。企業が「より多く購入するほどより多く節約する」マインドセットから「持っているもので更に多くを実現する」マインドセットへ移行する動きだ。Gartnerのチラグ・デカテはLinkedInのインフラ支配がない小規模企業でさえ独自のコスト削減戦略を見つけていることに注目する。しかし、LinkedInの経営陣と業界オブザーバーの双方は、横ばい支出モデルが限界に直面することを警告している。デカテが警告するように、「いずれの時点で何らかの決断を下さなければならなくなる」—いずれAI野心が損なわれるか、支出命令が変わらなければならなくなるのだ。LinkedInの経営陣は、ハードウェア価格が急騰しており（一部サーバーはここ数か月で3倍に跳ね上がった）、AI計算需要の無情な成長が最終的に同社に再度予算増加を強いるかもしれないと公に述べている。