
何が起きたか
Simon Willison氏がDGX Spark上でQwen3.8-27B-Q4_K_M.ggufを使いColin Frasier氏の語形式加算テストを再現。
なぜ重要か
推論を無効にするとこのモデルの合計計算と語での回答能力が大きく制限され、桁数が増えるほど正答率が崩れる一方、形式遵守率は96.17%を保った。
注目点
推論有効時の改善は各ペア1回のみの試行に基づくため、再実行すれば結果は変わる可能性が高い。より大きなサンプルで改善を確認したい。
誰に効くかDGX Sparkのようなハードウェアでローカルモデルを動かすチームは、算術課題には推論モードが不可欠であり、形式遵守だけでは正しい合計を保証しないと見るかもしれない。
こういう要約が、毎朝あなたのメールに届きます。
Colin Frasier氏は2年以上前にGPT-4oを使い、桁数が増えても合計を計算して語で答えを返せるかを調べる同様の実験を行っていた。GPT-4oが電卓でズルをしていないと確信したSimon Willison氏は、完全に統制された環境を求めてDGX Sparkというローカルハードウェアで再試験することを思い立った。同氏はCodex Remote(GPT-6 Astra)を使い、Qwen3.8-27B-Q4_K_M.ggufで同じ実験を実施。まず推論無効で各組み合わせ30回試行し、次に推論有効で各ペア1回試行した。推論有効の実行は1ペアあたりの時間がはるかに長く、各マスにつき1サンプルしか集められなかったため、各マスが100%か0%のどちらかになる、視覚的に粗いヒートマップになった。モデルは169回中167回で正解し、Willison氏は1回限りの試行なので再実行すれば結果は変わるだろうと述べている。この実験は、算術と語形式の両方を要する課題における推論無効時と有効時の性能の鮮明な対比を示している。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る
Microsoft Ignite 2026でマイクロソフトは赤・青・緑チームのエージェントを組み合わせ攻撃模擬・検知調査・脆弱性修正を行うMicrosoft Perceptionの一般提供を発表した

Microsoft Ignite 2026でWindows Server 2028のパブリックプレビューが公開され、Microsoft Foundry、Windows ML、vLLM、Llama.cppによるAI推論ホス…

AUMOVIOはDatabricks Unity GatewayをLLMへの唯一の経路に採用

CADMAGEDDONはBenchCADの64³ボクセルIoUで、1000部品のサブセットにおいて0.991を記録し、Claude Sonnet 5.5の0.963、Claude Opus 5.5の0.962、GPT-6…

MIT Technology ReviewのAI誇大広告指数はAIの広がりを示し、GoogleのAI Overviewsが広告収入で数十億ドルを失わせたことやAI支援のサイバー攻撃を挙げた

哲学者トーマス・ナゲル氏はバーグルエン賞受賞後のインタビューで、大規模言語モデルが意識を持つ可能性を真剣に受け止めるのは「馬鹿げている」と述べ、AnthropicのClaudeへのアプローチを「犯罪的」と呼んだ
