AIToday
大規模言語モデルAIビジネス・産業Together AI Blog掲載日時: 2026年11月5日 1:00

TogetherがAI推論向けコンパイラTKCCを発表

LINEで送る
TogetherがAI推論向けコンパイラTKCCを発表

3つのポイント

  1. 何が起きたか

    Together AIがTogether Compiler(TKCC)を発表。

  2. なぜ重要か

    推論事業者が手作業の最適化に頼らず、新モデルやトラフィック形状に合わせて配信を継続的に再調整できる可能性を示す。ユーザーあたりの速度を保ちつつ、GPUあたりのトークン処理量を増やせる。

誰に効くかTogether AIの報告結果に基づけば、オープンソースモデルを配信するAI推論事業者やクラウドチームは、導入先ごとに必要な手作業調整を削減し、既存GPUからより高いスループットを得られる可能性がある。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

Together AIはこの問題をばらつきの問題として捉えている。OpenRouterのオープンソースLLM上位10件はいずれも同じアーキテクチャを使っておらず、トラフィック形状は地域やモデルリリースによって異なり、ハードウェアもH100からB200、B300まで幅があると指摘する。この多様性により各導入先の手作業調整は現実的でなく、TKCCはその空白を埋めるものだ。

設計上の選択はその目標を反映している。TKCCは一度起動して候補のフォワードパスをホットリロードする永続エンジンを使い、Together AIによれば数十分かかるエンジン再起動を避ける。また、高速でばらつきの小さい測定と実データ分布での高忠実度テストのバランスを取る2層のエンジン構成や、トラフィックの変化に応じて並列化戦略を選ぶ独自のコストモデルも採用する。

LLM推論以外でも、Together AIはTKCCが気象モデリング、PDE、時系列、生物学の4モデル中3モデルでClaude Codeより大きな高速化を達成したと報告する。同社によればTKCCはすでに毎日数兆トークンを処理している。

よくある質問
Together Compiler(TKCC)とは何か?
Together Compiler(TKCC)は、エージェントを使って推論エンジンの最適化を生成する継続最適化ループ。トラフィック形状、モデル、ハードウェアを入力とし、トラフィックの変化に応じて再コンパイルする。
既存システムと比べてどのくらい速いのか?
TKCCは実験スループットがベースラインのエージェント型性能最適化システムより252倍高いと報じられており、Together AIはこれが高速化を可能にしていると説明する。
TKCCは言語モデル推論専用なのか?
いいえ。Together AIによればTKCCは気象モデリング、PDE、時系列、生物学にも汎用化でき、LLM推論以外でも汎用AIコンパイラとして使われている。
Together AI Blog元記事を読む
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

次の記事へGitHub、Copilot Dreamingを発表