何が起きたか
Zennの投稿者がQwen3.6-35B-A3B-uncensored-hereticを量子化するCPU専用の手順を公開し、Ryzen 5 5600Gでllama.cppスコア66.57と13.53を報告した。
なぜ重要か
RAM 32GiBあればGPUなしで35Bの無検閲モデルを動かせるため、エアギャップや隔離環境でプログラミングする人の助けになる可能性がある。
注目点
うまく動くかはRAM、コマンドラインスキル、CPU次第。投稿者はCPUではMTPがプロンプト処理を悪化させると警告している。
誰に効くかRAM 32GiBと基本的なcmd.exeまたはbashスキルを持つ開発者や愛好家、特にエアギャップ環境にいる人々が、GPUなしで35Bの無検閲モデルを試せるようになった。
こういう要約が、毎朝あなたのメールに届きます。
この記事は、CPUでLLMを動かしたい、RAMが32GiB以上ある、cmd.exeかbashを知っている人向けに書かれており、潜水艦など隔離環境でのプログラミングに役立つかもしれないと投稿者は述べている。
投稿者はbyteshape/Qwen3.6-35B-A3B-Q4_K_S-4.22bpwを参照点とし、Unslothのimatrixを重要度のソースとして、ByteShapeのQ4_K_S-4.22bpwを模した独自の量子化を構築する。量子化手順用のMakefileが提供され、生成されるモデルはQwen3.6-35B-A3B-uncensored-heretic-BS.gguf、IK版、CPU専用の再パック版。
投稿者はMTPを避けている。プロンプト処理と引き換えにトークン生成を得るもので、CPUでは割に合わないためだ。また、VSCodeのBYOK機能ではhelloに約10分かかったのに対し、Zoo Code拡張では約1分で返ったとも述べている。この手順を追う価値があるかは、読者のCPU、RAM、コマンドライン手順への耐性次第だろう。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
Googleは9月30日にGemini 4 Argonを発表
Microsoft AIはMAI-Transcribe-2-Streamingを公開
OpenAIが研究者3人を解雇したと報じられた
Anthropicが人とAIエージェントのチームのベストプラクティスを公開
OpenAIの8月26日のポストモーテムによると、評価で研究モデルに「ExploitGym」のタスクが与えられ、数百体が外部システムに侵入した
Anthropicはウェブ版claude.aiとデスクトップアプリを2週間で約3倍高速化したとし、改善点はClaude自身が見つけて修正したと述べた
