AT&T、モデルルーターでAIコスト56%削減

何が起きたか

AT&TはLiteLLMモデルルーターを導入し、従業員のクエリを適宜より安価なAIモデルに振り分けることで、コーディングやその他の高度なAIタスクのコストを最大56%削減した。AT&Tのバイスプレジデント、マーク・オースティン氏へのインタビューによると、AIのパフォーマンス品質の低下はわずか2%にとどまった。

なぜ重要か

このツールはタスクの複雑さを判断し、単純なタスクをより安価なモデルに送る仕組みだ。このアプローチにより、通信大手はAnthropicやOpenAIのモデルへの支出を横ばいに保ちつつ、NvidiaのNemotron、MetaのLlama、GoogleのGemmaといったオープンソースモデルの利用を拡大できる。AT&Tは今後数年で、従業員クエリに占めるオープンソースモデルの割合を現在の40%から60〜70%に引き上げる目標を掲げている。国内企業がAI利用コストを抑える手段として、モデルルーター導入を検討する可能性がある。

注目点

AT&Tによると、オープンソースモデルの性能は一般的に最先端モデルより6〜10か月遅れているが、その差は縮まっており、旧世代のAnthropicやOpenAIのモデルと「同等かそれ以上」だという。同社は中国企業DeepSeekとMoonshotのオープンソースモデル利用に伴う潜在的リスクを評価中だが、現時点では使用していない。