LFM2.5を2.68bitで測定

LFM2.5-24B-A2Bは総パラメータ24BのMoEで、1トークンあたりの有効パラメータが約2.45Bと小さい。筆者は16GBのMacに載せるため、unslothのUD-Q2_K_XL（約2.68bit/weight、8.04GB）を選んだ。比較対象はstudy9・study10で測ったBonsai 2 27B（1.77bit）とQwen3.8-27B（2.88bit）で、同じMac mini・同じllama-server・同じ-c 32768で並べている。

LFM2.5には他のモデルと条件が揃わない点が1つある。常に思考してから答え、思考を止められない。そのため所要時間は思考込みの値になり、monocoderでは最初の測定が丸ごと無効になった。この失敗はモデルのコードの出来ではなく、ハーネスの上限と思考の相互作用によるものだ。

対応として、空の本文が上限で打ち切られた応答をharness_errorとして除外するガードを足し、応答上限を変えられるようにし、LFM2.5だけ上限を16384にして測り直した。他のモデルとは条件が違うので比較には留保が付く。測り直した結果、カルマンは787秒と317秒の2回とも成功、SVDは730秒で失敗と248秒で成功だった。

出力を読むと、自動チェックが0件でも誤りがあった。コードレビューは回答全体が英語で、今回のコードには当たらない指摘も混じる。FizzBuzzは手書きの20項目はすべて正しいが英単語が混ざる。デコレーターは@classmethodをselfを受け取るメソッドと書いており、正しくはclsを受け取る。要約は4個だが3個目の内容が元記事と異なる。

考察では、単発4タスクと要約では27B級の2モデルと並べて目立つ差は見えず、monocoderではLFM2.5がカルマン2/2、SVD 1/2でQwen3.8-27Bと同じ、Bonsai 2 27Bより良い結果だった。ただしLFM2.5だけ思考あり・上限16384トークンで各2回であり、複数ステップの作業で崩れにくいという方向の示唆にとどめる。所要時間は思考込みのため速さの優劣は言えない。量子化の影響も、同じモデルのより高いビット幅の対照を測っていないため分けられない。