Byte Language Modelsがサブワード超え

この研究は、生バイトの処理はシーケンスが長くなるため計算効率が悪いという通説に挑む。著者らは、シーケンス長の増加は欠陥ではなく利点であり、同じパラメータ予算で追加の計算を提供すると主張する。トークン重畳学習とハッシュ埋め込みを用いることで、Byte Transformerは同じパラメータ数でサブワードモデルより一貫して低い最適損失に到達した。研究ではまた、Byte Transformerが外部トークナイザーに似た局所的なテキスト抽象化を暗黙的に発達させ、選択的な層制約が性能を維持することも分かった。こうした学習された構造は生成難易度に不均一性を生み、投機的デコーディングに活用するとサブワードモデルより3.4倍多くのトークンを受け入れられる。これらの知見は、シーケンス長、学習された抽象化、計算配分が将来の言語モデル設計にとって相互に関連する次元であることを示唆する。