AIToday
大規模言語モデルDaily Dose of Data Science掲載日時: 2026年10月27日 10:01

LLM推論、温度0でも出力80通り

LINEで送る
LLM推論、温度0でも出力80通り

3つのポイント

  1. 何が起きたか

    Thinking Machinesが同じプロンプトをQwen3-235Bにtemperature 0で1,000回送ると80種類の出力が得られ、最初の102トークンは全実行で一致した。

  2. なぜ重要か

    ばらつきはバッチサイズが和の分割方法と順序を決めることに由来し、リクエストの出力がその時点でサーバーが処理している他の内容に依存しうる。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

この発見が重要なのは、temperature 0が再現性の保証と見なされることが多いものの、リクエストがバッチ処理されるとその保証が崩れるからだ。Thinking Machinesは原因を浮動小数点加算が結合法則を満たさないことに突き止めた。LLMはフォワードパスごとに数十億回の加算を行い、その順序が変わればロジットもわずかに変わる。スレッドのタイミングが主因ではない。典型的なフォワードパスのカーネルは各和を固定順で計算し、同じ入力に対してビット単位で同一の結果を返すからだ。代わりにバッチサイズがリダクションの分割方法を決めるため、分割が異なれば加算の順序も異なり、バッチサイズはその時点でサーバーを利用している他の人数に依存する。分岐が出力を反転させるのは僅差の場合のみだが、生成は自己回帰的であるため、反転後の各トークンは異なるプレフィックスから計算され、小さな丸め誤差が多数の異なる出力へ連鎖しうる。

よくある質問
temperature 0でも異なる出力が生じるのはなぜか?
temperature 0はサンプリングのランダム性を取り除くが、モデルは他のユーザーのリクエストとともにバッチで実行される。バッチサイズが和の分割方法と順序を変えるため、ロジットがわずかにずれ、僅差のトークンが反転しうる。
テストで出力はどこから分岐し始めたか?
1,000回の実行はすべて最初の102トークンまで一致した。トークン103で992回が「Queens, New York」、8回が「New York City」と出力し、その後出力は80種類に分岐した。
Daily Dose of Data Science元記事を読む
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

マイクロソフトがAIエージェントで攻撃対抗サービス提供開始

Microsoft Ignite 2026でマイクロソフトは赤・青・緑チームのエージェントを組み合わせ攻撃模擬・検知調査・脆弱性修正を行うMicrosoft Perceptionの一般提供を発表した

NEWPublickey4時間前

Windows Server 2028がパブリックプレビュー公開

Microsoft Ignite 2026でWindows Server 2028のパブリックプレビューが公開され、Microsoft Foundry、Windows ML、vLLM、Llama.cppによるAI推論ホス…

NEWPublickey4時間前

AUMOVIOがLLMの唯一の経路をDatabricksに統一

AUMOVIOはDatabricks Unity GatewayをLLMへの唯一の経路に採用

NEWDatabricks AI Blog4時間前

CADMAGEDDON、5ベンチマークで最先端CADモデル超え

CADMAGEDDONはBenchCADの64³ボクセルIoUで、1000部品のサブセットにおいて0.991を記録し、Claude Sonnet 5.5の0.963、Claude Opus 5.5の0.962、GPT-6…

NEWAI Weekly4時間前

MIT Technology ReviewのAI指数、AIは遍在

MIT Technology ReviewのAI誇大広告指数はAIの広がりを示し、GoogleのAI Overviewsが広告収入で数十億ドルを失わせたことやAI支援のサイバー攻撃を挙げた

NEWMIT Technology Review AI4時間前

Thomas Nagel、AI意識説を「馬鹿げている」と一蹴

哲学者トーマス・ナゲル氏はバーグルエン賞受賞後のインタビューで、大規模言語モデルが意識を持つ可能性を真剣に受け止めるのは「馬鹿げている」と述べ、AnthropicのClaudeへのアプローチを「犯罪的」と呼んだ

NEWWIRED AI4時間前
次の記事へComauがNvidia技術を製品全体に統合