AIToday
大規模言語モデルAIコーディングオープンソースAIZenn AI/ML掲載日時: 2026年11月18日 16:00

llama.cppの新機能で弩級モデルをローカルで動かそう

LINEで送る
llama.cppの新機能で弩級モデルをローカルで動かそう

3つのポイント

  1. 何が起きたか

    llama.cppがバージョン1.0となり、--moe-cache-cpu-shareを導入。エキスパートキャッシュのミスの0〜1の割合をCPUに処理させるオプション。

  2. なぜ重要か

    エキスパートのデータがメモリに収まらない大規模モデルでは、ミスの一部をCPUが処理することでGPUの停止を防ぎ、巨大モデルをより効率的に動かせる。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

llama.cppのバージョン1.0への移行により、単純なヒット率ベースのエキスパートキャッシュからLRU(Least Recently Used)キャッシュへと移行し、直近のバッチで使われたエキスパートを優先し、ヒット率が高くても古いものは破棄するようになった。使われるエキスパートはコンテキスト(コーディング、思考、散文)によって変わるため、単にヒット数を数えるよりも直近の使用状況に追従するキャッシュの方が効果的だ。

--moe-cache-cpu-shareオプション自体は目新しい手法ではなく、人気の推論エンジンStrataは同様のアプローチを積極的に採用し、各モデルに強くチューニングしている。llama.cppの違いは汎用性にあり、GGUFファイルがあればどのモデルでも実行できる一方、Strataは特定モデルでの高性能を狙う。チューニングで、llama.cppは大規模MoEモデルでも十分な水準に達することができる。

GeForce RTX 3090とDeepSeek V4.1 Flash 1017を使った実践では、実際のトレードオフが示された。CPUの割合を0.9まで上げるとテキスト生成は改善したが、プロンプト処理は遅くなった。これはCPUの関与でGPUが待たされるためと考えられる。自動設定がない(パッチがコミットされなかった)ため、ユーザーはこれらの速度を手動でバランスさせる必要がある。エキスパートが完全に物理メモリに収まるモデルでは、このオプションは不要でしばしば有害だ。PCIe経由でエキスパートをGPUへ転送する方がCPU処理より速いからだ。

よくある質問
--moe-cache-cpu-shareパラメータは実際に何をするのか?
0から1の値を取る。0(デフォルト)ではエキスパートのミスはCPUで処理されず、1ではすべてのミスをCPUで計算し、中間の値ではその割合をCPUに割り当てる。
常に効果があるのか?
いいえ。すべてのエキスパートが物理メモリに収まる場合、--moe-cache-cpu-shareは効果がなく、しばしば逆効果になる。主にGPU性能が控えめな場合やVRAMが小さい場合(例:8GB)に試す価値がある。
割合を自動で調整できるのか?
現在はできない。この機能に自動設定はなく、自動モード用の以前のパッチは見送られたため、ユーザーが手動で値を調整する必要がある。テストでは0.9がテキスト生成速度で最良だったが、プロンプト処理は遅くなった。
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

FlashLabs、コード変更なしでトレース出力

FlashLabsがOrcaRouterゲートウェイのTrace Exportを強化し、SDKやコード変更なしでAIリクエストのトレースをGrafana、Datadog、Langfuse、LangSmithへリアルタイム…

NEWASCII.jp5時間前

SamuraiAX、ヤマト運賃をAIで取得するAPI連携

KivaのSamurai Appに、ヤマト運輸「ビジネスメンバーズ」の顧客コードへログインし運賃と請求金額を取得、複数コード・複数月の運賃CSVを一括ダウンロードできるAPI連携を追加

NEWASCII.jp5時間前

NotionのAIチャット流出おそれ、幹部が日本での対応状況明かす

Notion LabsのCISOデイビッド・ツァオ氏は、11月2日のFireworks AIへの不正アクセスでNotion AI Insightsのチャット記録が流出した可能性を受け、11月12日に影響を受けた日本顧客へ…

NEWITmedia AI+5時間前

川崎重工、神戸須磨シーワールドでAIカメラ人流分析の実証

川崎重工業は11月16日、神戸須磨シーワールドでAIカメラによる実証実験を行うと発表した

NEWAI Watch (Impress)5時間前

SwitchBot、GPT対応スマートリモコン「ハブ4」予約販売開始

SwitchBotはスマートリモコン「Hub 4」の予約販売を11月18日に19,980円で開始した

NEWAI Watch (Impress)5時間前

CodeRabbit、GPT-6 Cyberをセキュリティ製品に統合

CodeRabbitはOpenAI Daybreak Defense Networkに参加した

PR TIMES (AI)8時間前
次の記事へOpenAIのCodexがJava4Shellを1時間で発見