何が起きたか
筆者はClaude Codeのトークン枠不足を受け、RTX 5070 Ti（VRAM 16GB）上でQwen3.6-35B-A3Bとllama.cpp、agentのPiを選び、SWE-bench Verified 73.4のモデルを動かした。
なぜ重要か
16GBのVRAMでもMoEの一部をCPUに逃がせば品質本命級のモデルを動かせ、エージェントPiとの組み合わせでローカル環境での開発作業が現実的になる可能性があるとみられる。
注目点
Qwen3.6の生成速度は毎秒約26.5トークンで、Qwen3.8-27Bの毎秒12〜15トークンやクラウド比では遅く、どのタスクを移譲するかが焦点となる。
誰に効くか自社の開発環境でローカルLLMを試したいソフトウェアエンジニアや、トークン課金を抑えたい開発チームのリードに影響する。VRAM 16GBという制約下でのモデル選定と速度の実測値が判断材料になる。
こういう要約が、毎朝あなたのメールに届きます。
筆者がローカルLLMに踏み切った背景には、Claude Codeのトークン枠不足がある。サブスクリプションの枠が足りないという切実な事情から、トークン消費を減らすハーネス改善ではなく、一部処理をローカルLLMに移譲する方向を選んだ。
選定はRTX 5070 Ti（VRAM 16GB）とWSL2環境という制約下で行われた。モデルはQwen3.6-35B-A3B（SWE-bench Verified 73.4）、実行環境はllama.cpp、agentはPiという組み合わせだ。Piを選んだ理由は、最初に渡す指示が短くVRAMの小さいローカルモデルでもcontextが溢れにくいこと、Claude Codeに似た画面でOrcaの端末になじむこと、Orcaとの連携が自動で入ることにある。
実測ではQwen3.6-35B-A3Bが毎秒約26.5トークン、Qwen3.8-27B（IQ4_XS、64層のうち56層をGPU）が毎秒12〜15トークンだった。長い入力を読む速さは1.5万トークンで前者が毎秒373トークン（39秒）、後者が毎秒954トークン（15秒）で、同じ調べもの1件も前者が1分43秒、後者が40秒と差が出た。ただしQwen3.8はVRAMがほぼ上限で、Windows側でブラウザなどがVRAMを使うと極端に遅くなるため、今はQwen3.6を使っている。
移行に際しては、AGENTS.mdとCLAUDE.mdの読み込み優先順位、YAMLの厳密な書式チェック、hooksが動かないといった問題も見えている。どのタスクをローカルに移譲できるかは現時点では不明で、動かしながら決めていく段階とみられる。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
ElevenLabsが220億ドルの評価額で3億ドルの従業員向けテンダーを完了し、Mati Staniszewski氏は音声が主要なインターフェースになると予測した
OpenAIは10月15日、Rosalind Academic Planを発表した
Qiita記事がLLMアプリ向け自動レッドチーミング手法GCG・PAIR・TAPを実LLMなしの模擬実装で比較した
Liquid AIは2026年10月15日、オープンウェイトの改良版意思決定モデルd1-ultraを公開した
CircliaがTASTE SIGNALの実証実験を開始した
フランス数学会会長イザベル・ガラガー主催のウェビナーで、フィールズ賞受賞者のユーゴ・デュミニル＝コパンは、OpenAIが350の主要未解決問題の解答を一夜で公開したと述べた
