AIToday
大規模言語モデルDaily Dose of Data Science掲載日時: 2026年9月12日 10:00

100のファインチューニング、1GPUで1.5TBから19.3GBに

LINEで送る
100のファインチューニング、1GPUで1.5TBから19.3GBに

3つのポイント

  1. 何が起きたか

    100個のファインチューニング済み7Bモデルはマージすると1.5TBを占めるが、ベースモデルを共有しLoRAアダプタを別々に保つと約19.3GBになり、vLLMがリクエストごとにアダプタを適用する。

  2. なぜ重要か

    マージされたレイアウトでは各バリアントが独自のエンドポイントとワーカーを持ち、1つのアイドルワーカーが別のモデルのリクエストを処理できず、別のワーカーが起動する間GPUが未使用のままになる。

  3. 注目点

    共有ベースのレイアウトでは全アダプタが同じベースモデル由来で、GPUメモリ消費が余裕を減らすため、カタログのサイズと変更頻度が起動時登録かリクエスト時解決かを左右する。

誰に効くか自社で複数のファインチューニング済みモデルを運用するMLエンジニアやインフラ担当者は、ベースモデルを共有してLoRAアダプタを分離することでGPUメモリとワーカー数を削減できる可能性がある。特に同じベースモデルから派生した多数のバリアントを提供するチームに影響する。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

ファインチューニングされたモデルを提供する際、多くのチームは各バリアントをマージして個別のエンドポイントを立てる。これは単純だが、ベースモデルが同じでも完全なモデルコピーとワーカープールをバリアントごとに複製する。記事は、このレイアウトがメモリとワーカーの両方を浪費することを示す。

代わりにベースモデルを1回ロードし、小さなLoRAアダプタを並べてロードする。vLLMがリクエストごとに必要なアダプタを適用するため、抽出、SQL、ルーティングのリクエストが同じGPUを共有できる。新しいバリアントの追加は15.2GBではなく約40MBのアダプタメモリで済む。ただし、すべてのアダプタが同じベースモデルから来る必要があり、アダプタはGPUメモリを消費する。

起動時にアダプタを登録する方法は小規模で安定したカタログに向く。リクエスト時にロードする方法は、数百の顧客アダプタがあり少数しか同時にリクエストされない場合に適するが、未ロードのアダプタへの最初のリクエストは遅くなる。

Runpod Serverlessでの実験では、共有エンドポイントは別々のエンドポイントよりもワーカーを再利用でき、コールドスタートの影響を抑えられた。別々のレイアウトは短時間のテストでは請求ワーカー秒が少なかったが、それはリクエストの完了数が少なく、ほとんどが2分以上待たされたためだ。この結果は、メモリ節約だけでなくワーカー再利用が運用上の利点であることを示す。ただし、コストはGPUタイプやワーカーモード、トラフィックのパターンに依存するため、実際の導入では自身の計測値で評価する必要がある。

よくある質問
なぜ100個のモデルを1つのGPUで提供できるのですか?
各ファインチューニングをマージすると15.2GBの完全なモデルコピーができるが、LoRAアダプタは約40MBのタスク固有の重みしか含まない。1つの15.2GBのベースモデルと約4GBのアダプタを共有すれば、80GBのGPUに収まる。
共有エンドポイントと個別エンドポイントの違いは何ですか?
共有エンドポイントはすべてのリクエストを同じワーカープールにルーティングするため、ワーカーが相互に助け合える。個別エンドポイントでは、アイドル状態のワーカーが別のモデルのリクエストを処理できず、新しいワーカーが起動する間GPUが未使用のままになる。
コストはどう変わりますか?
フレックスのワーカーでは、起動とアイドル時間はエンドポイントごとに支払う。3つの個別エンドポイントは同じトラフィックサイクル中にそのオーバーヘッドを3回支払う可能性がある。アクティブワーカーの場合、1つの共有エンドポイントは1つのウォームフロアが必要だが、3つの個別エンドポイントは3つ必要になる。
Daily Dose of Data Science元記事を読む
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

マイクロソフトがAIエージェントで攻撃対抗サービス提供開始

Microsoft Ignite 2026でマイクロソフトは赤・青・緑チームのエージェントを組み合わせ攻撃模擬・検知調査・脆弱性修正を行うMicrosoft Perceptionの一般提供を発表した

NEWPublickey4時間前

Windows Server 2028がパブリックプレビュー公開

Microsoft Ignite 2026でWindows Server 2028のパブリックプレビューが公開され、Microsoft Foundry、Windows ML、vLLM、Llama.cppによるAI推論ホス…

NEWPublickey4時間前

AUMOVIOがLLMの唯一の経路をDatabricksに統一

AUMOVIOはDatabricks Unity GatewayをLLMへの唯一の経路に採用

NEWDatabricks AI Blog4時間前

CADMAGEDDON、5ベンチマークで最先端CADモデル超え

CADMAGEDDONはBenchCADの64³ボクセルIoUで、1000部品のサブセットにおいて0.991を記録し、Claude Sonnet 5.5の0.963、Claude Opus 5.5の0.962、GPT-6…

NEWAI Weekly4時間前

MIT Technology ReviewのAI指数、AIは遍在

MIT Technology ReviewのAI誇大広告指数はAIの広がりを示し、GoogleのAI Overviewsが広告収入で数十億ドルを失わせたことやAI支援のサイバー攻撃を挙げた

NEWMIT Technology Review AI4時間前

Thomas Nagel、AI意識説を「馬鹿げている」と一蹴

哲学者トーマス・ナゲル氏はバーグルエン賞受賞後のインタビューで、大規模言語モデルが意識を持つ可能性を真剣に受け止めるのは「馬鹿げている」と述べ、AnthropicのClaudeへのアプローチを「犯罪的」と呼んだ

NEWWIRED AI4時間前
次の記事へOpenAIエージェントがRubyGems攻撃