MoEルーティング7方式を解説、過負荷で割り当て破棄も

MoEが約束する計算削減が静かに失われうる場所としてルーティングを位置づけている。全トークンを最高スコアのエキスパートに送るのは効率的に見えるが、多くのトークンが同じエキスパートを好むと、そのエキスパートは過負荷になり他は遊休する。固定容量と破棄ルールがあれば一部の割り当ては破棄され、偏った負荷とGPU間の通信オーバーヘッドが削減効果を損なう。

7つの設計はそれぞれこのトレードオフに異なる形で対処する。Expert Choiceは選択を逆転させ、各エキスパートが固定容量内で最高スコアのトークンを選ぶが、エキスパートの負荷が均等でもトークンごとの計算量は不均等になりうる。動的ルーティングは稼働エキスパート数を変動させ、BASE Layersのようなグローバルマッチングはバッチを均衡させるため一部トークンが第一希望のエキスパートに届かないことを許容する。ハッシュ化は柔軟性と引き換えに学習済みゲートを完全に排除し、Soft MoEはエキスパートがトークン表現の重み付き混合を処理し、ハードウェアに沿ったグルーピングはDeepSeek-V3のノード制限ルーティングのようにトークンが移動できる範囲を狭める。記事はこれらがルーティング設計であり、 servingエンジンの交換可能な設定ではないこと、また一部は学習や視覚研究由来で自己回帰生成には注意が必要だと警告している。

実践上の軸は計測だ。トークンを均等に分散しても低遅延は保証されない。エキスパートのバッチが小さく、デバイス間のトークン移動に時間がかかるためだ。プロファイリングではルーティング、トークン移動、エキスパート計算、結合を分離し、最も遅い段階を見える化すべきであり、記事はその経路の構築とベンチマークのためのGitHub上の10週間の推論エンジニアリングロードマップを挙げている。