VocabXは残すトークンをどう選ぶのか？

削除する各トークンを、頻度だけでなく、それが現れるフィールドのコストで重み付けする。採点器では、応答側で節約したトークンは入力側の7.4倍の価値があった。

語彙変更後、採点器の品質はどうなったか？

採点精度と、的外れな小論文や規則違反の小論文の選別を組み合わせたベンチスコアは0.703から0.810に上がった。評価を単一のマクロトークンに融合した初期版は0.689で、本番採点器を下回った。

語彙の再構築後、出力層は約152,000行から約65,000行になった。

大規模言語モデルAIビジネス・産業Hugging Face Blog1時間前2026年10月22日 4:00

何が起きたか
Dharma-AIが本番運用中のQwen3-4Bポルトガル語小論文採点器の語彙をVocabX手法で再構築し、応答長を350から101トークンに短縮、実測推論コストを77.0%削減した。
なぜ重要か
効果は通常そのまま継承され手を付けられないトークナイザー層から生まれており、モデルを再学習しなくてもドメイン特化モデルを安くできる。

誰に効くか採点や契約レビューのシステムなど、ドメイン特化の小型モデルを本番運用するチームは、モデルの重みではなくトークナイザーを作り直すことで提供コストを削減できる。

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

よくある質問

VocabXは残すトークンをどう選ぶのか？: 削除する各トークンを、頻度だけでなく、それが現れるフィールドのコストで重み付けする。採点器では、応答側で節約したトークンは入力側の7.4倍の価値があった。
語彙変更後、採点器の品質はどうなったか？: 採点精度と、的外れな小論文や規則違反の小論文の選別を組み合わせたベンチスコアは0.703から0.810に上がった。評価を単一のマクロトークンに融合した初期版は0.689で、本番採点器を下回った。
出力層はどれだけ小さくなったか？: 語彙の再構築後、出力層は約152,000行から約65,000行になった。