LLMの重み（パラメータ）にはシャノンエントロピーで測定した冗長性が存在し、フォーマットサイズによってその特性が変わることが判明

複数のラボ（Qwen、DeepSeek、Google、OpenAI、Moonshot、MiniMax、NVIDIA、StepFun、Zhipu）から異なるスケール（0.6B～1.4T パラメータ）のオープンウェイトモデルの重みファイルを収集し、複数の保存フォーマット（BF16、FP8、MXFP8、MXFP4、NVFP4、INT4）における重み分布のシャノンエントロピーを計算した。

BF16フォーマットでは、重みは約10.6ビットのエントロピーを持ちながら16ビット割り当てられており、浪費は指数部（exponent）に集中している（指数部は約2.6ビットのエントロピーなのに8ビット割り当て）。異なるパラメータ数、異なるトレーニング方法でも指数部エントロピーは約0.05ビット幅の帯域内に安定している。

FP8フォーマットではエントロピー効率が約80%（6.5/8ビット）に上がるが、8ビット以下のフォーマット（FP4など）では、分布が固定されていた傾向が変わり始める。ブロック単位のスケール係数を使用するサブバイトフォーマット（MXFP4、NVFP4など）では、フォーマット制約がモデルの重み分布の形状を実際に変える。