回答途中でモデル切替えAI基盤を公開

TokenRouterは実用上の限界への答えとして登場した。判定モデルが入ってきた質問を冒頭で1つのモデルに割り当てるリクエスト単位のルーティングは、RouteLLMやOpenAIのDecisions APIなどのツールのおかげで一般的になったが、ごく一部だけが本当に難しい場合でも回答全体を1つのモデルに委ねてしまう。トークン単位のルーティング、つまりトークンごとに決める手法はR2R、CITER、Co-LLM、R-Stitchなどですでに提案されていたが、既存のサーバーは1つのリクエストを1つのモデルが端から端まで処理する前提だったため、回答の途中でモデルを切り替えるとステップのずれ、バッチ受け入れの待ち、キャッシュ管理で時間を浪費した。

論文の枠組みは「リクエスト中心の記述、モデル中心の実行」だ。TokenRouterはモデルごとにサブサーバーを保ち、それらの間でリクエストを受け渡す第3のループを追加し、KVキャッシュをモデル間で送ることを避けて、もう一方のモデルが見ていないトークンだけを送る。論文はまた、大規模モデルが処理前にリクエストを蓄積できるよう遅延バッチ処理を追加し、同時実行数ごとに最適なしきい値Bを予測する数理モデルを備える。

Qwen3-0.6BとQwen3-32Bを使ったR2Rフローの独立したMac再現では、MATH-500の30問で23問正解（小規模モデル単体は20問、大規模モデル単体は27問）、大規模モデルが書いたトークンは28.3%で、実行時間は大規模モデル単体の約56%だった。際立つ知見は2つある。大規模モデルに回されたトークンは数字ではなく「since」「But」「Wait」のような推論の方向を示す語だったこと、そして単一のMacでは判定モデルによるリクエストルーターと比べて高速化が崩れたことだ。