AIToday
大規模言語モデルHacker News掲載日時: 2026年5月5日 22:00

LLMの重み(パラメータ)にはシャノンエントロピーで測定した冗長性が存在し、フォーマットサイズによってその特性が変わることが判明

LINEで送る
LLMの重み(パラメータ)にはシャノンエントロピーで測定した冗長性が存在し、フォーマットサイズによってその特性が変わることが判明

3つのポイント

  1. 複数のラボ(Qwen、DeepSeek、Google、OpenAI、Moonshot、MiniMax、NVIDIA、StepFun、Zhipu)から異なるスケール(0.6B~1.4T パラメータ)のオープンウェイトモデルの重みファイルを収集し、複数の保存フォーマット(BF16、FP8、MXFP8、MXFP4、NVFP4、INT4)における重み分布のシャノンエントロピーを計算した。

  2. BF16フォーマットでは、重みは約10.6ビットのエントロピーを持ちながら16ビット割り当てられており、浪費は指数部(exponent)に集中している(指数部は約2.6ビットのエントロピーなのに8ビット割り当て)。異なるパラメータ数、異なるトレーニング方法でも指数部エントロピーは約0.05ビット幅の帯域内に安定している。

  3. FP8フォーマットではエントロピー効率が約80%(6.5/8ビット)に上がるが、8ビット以下のフォーマット(FP4など)では、分布が固定されていた傾向が変わり始める。ブロック単位のスケール係数を使用するサブバイトフォーマット(MXFP4、NVFP4など)では、フォーマット制約がモデルの重み分布の形状を実際に変える。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

マイクロソフトがAIエージェントで攻撃対抗サービス提供開始

Microsoft Ignite 2026でマイクロソフトは赤・青・緑チームのエージェントを組み合わせ攻撃模擬・検知調査・脆弱性修正を行うMicrosoft Perceptionの一般提供を発表した

NEWPublickey4時間前

Windows Server 2028がパブリックプレビュー公開

Microsoft Ignite 2026でWindows Server 2028のパブリックプレビューが公開され、Microsoft Foundry、Windows ML、vLLM、Llama.cppによるAI推論ホス…

NEWPublickey4時間前

AUMOVIOがLLMの唯一の経路をDatabricksに統一

AUMOVIOはDatabricks Unity GatewayをLLMへの唯一の経路に採用

NEWDatabricks AI Blog4時間前

CADMAGEDDON、5ベンチマークで最先端CADモデル超え

CADMAGEDDONはBenchCADの64³ボクセルIoUで、1000部品のサブセットにおいて0.991を記録し、Claude Sonnet 5.5の0.963、Claude Opus 5.5の0.962、GPT-6…

NEWAI Weekly4時間前

MIT Technology ReviewのAI指数、AIは遍在

MIT Technology ReviewのAI誇大広告指数はAIの広がりを示し、GoogleのAI Overviewsが広告収入で数十億ドルを失わせたことやAI支援のサイバー攻撃を挙げた

NEWMIT Technology Review AI4時間前

Thomas Nagel、AI意識説を「馬鹿げている」と一蹴

哲学者トーマス・ナゲル氏はバーグルエン賞受賞後のインタビューで、大規模言語モデルが意識を持つ可能性を真剣に受け止めるのは「馬鹿げている」と述べ、AnthropicのClaudeへのアプローチを「犯罪的」と呼んだ

NEWWIRED AI4時間前
次の記事へ食料品店向けAIスタートアップVoriが$22 millionの資金調達を実施、独立系小売業者のWalmartおよびAmazonとの競争を支援