
何が起きたか
llama.cppがバージョン1.0となり、--moe-cache-cpu-shareを導入。エキスパートキャッシュのミスの0〜1の割合をCPUに処理させるオプション。
なぜ重要か
エキスパートのデータがメモリに収まらない大規模モデルでは、ミスの一部をCPUが処理することでGPUの停止を防ぎ、巨大モデルをより効率的に動かせる。
こういう要約が、毎朝あなたのメールに届きます。
llama.cppのバージョン1.0への移行により、単純なヒット率ベースのエキスパートキャッシュからLRU(Least Recently Used)キャッシュへと移行し、直近のバッチで使われたエキスパートを優先し、ヒット率が高くても古いものは破棄するようになった。使われるエキスパートはコンテキスト(コーディング、思考、散文)によって変わるため、単にヒット数を数えるよりも直近の使用状況に追従するキャッシュの方が効果的だ。
--moe-cache-cpu-shareオプション自体は目新しい手法ではなく、人気の推論エンジンStrataは同様のアプローチを積極的に採用し、各モデルに強くチューニングしている。llama.cppの違いは汎用性にあり、GGUFファイルがあればどのモデルでも実行できる一方、Strataは特定モデルでの高性能を狙う。チューニングで、llama.cppは大規模MoEモデルでも十分な水準に達することができる。
GeForce RTX 3090とDeepSeek V4.1 Flash 1017を使った実践では、実際のトレードオフが示された。CPUの割合を0.9まで上げるとテキスト生成は改善したが、プロンプト処理は遅くなった。これはCPUの関与でGPUが待たされるためと考えられる。自動設定がない(パッチがコミットされなかった)ため、ユーザーはこれらの速度を手動でバランスさせる必要がある。エキスパートが完全に物理メモリに収まるモデルでは、このオプションは不要でしばしば有害だ。PCIe経由でエキスパートをGPUへ転送する方がCPU処理より速いからだ。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る
FlashLabsがOrcaRouterゲートウェイのTrace Exportを強化し、SDKやコード変更なしでAIリクエストのトレースをGrafana、Datadog、Langfuse、LangSmithへリアルタイム…

KivaのSamurai Appに、ヤマト運輸「ビジネスメンバーズ」の顧客コードへログインし運賃と請求金額を取得、複数コード・複数月の運賃CSVを一括ダウンロードできるAPI連携を追加

Notion LabsのCISOデイビッド・ツァオ氏は、11月2日のFireworks AIへの不正アクセスでNotion AI Insightsのチャット記録が流出した可能性を受け、11月12日に影響を受けた日本顧客へ…

川崎重工業は11月16日、神戸須磨シーワールドでAIカメラによる実証実験を行うと発表した

SwitchBotはスマートリモコン「Hub 4」の予約販売を11月18日に19,980円で開始した

CodeRabbitはOpenAI Daybreak Defense Networkに参加した
