非英語は同一作業で最大17倍のトークン

Rest of Worldが報じ、Coalition for Language Equity in AI Researchが実施したこの研究は、言語によって同じ作業にモデルがどれだけトークンを消費するかという、通常は見えないコストを測定している。上位20のインターネット言語で1.5〜5倍の差があり、200言語のテストではあるモデルで17倍に広がったという結果は、モデルの能力だけでなくトークナイザーの設計を示唆する。

パターンは文字体系に従う。話者数が比較的少なくCommon Crawlのデータもないアストゥリアス語が、ラテン文字の利点とイタリア語など近縁のロマンス諸語から恩恵を受けていることは、学習データへの代表性だけが要因ではないことを示す。逆に、トークナイザーがほとんど見なかった文字体系のビルマ語、チベット語、ティフィナグ語、クメール語、ラオ語、オルチキ語は、分析対象のほぼすべてのモデルで一貫して最も不利だった。

Activate AIのPratyush Choudhury氏は請求額にとどまらない影響を指摘する。ある言語で生徒の過去の誤りや説明が文脈ウィンドウを早く埋めると、不利益はサービス品質にまで及ぶ。同氏はフロンティアラボに対し、言語別のスコアカードと最も不利な言語の測定可能な改善を求めている。Maya ResearchのDheemanth Reddy氏はトークン価格の下落が時間とともに直接的なコスト影響を和らげると予想する一方、トークン化の修正には意図的な設計上の選択が必要だと述べている。Rest of Worldは具体的にどのモデルをテストしたかは明らかにしていない。