Uber、AI支出据え置きで利用量9.4倍に

Uberの成果をより広い問題と対比して論じている。AIの請求額は従来のソフトウェア予算にはなかった形で利用量に比例して膨らむため、成長そのものがコスト項目になる。推論の低価格化はこれまで主にAI利用の増加につながり、請求額の削減には至っていない。だからこそ価格だけでなく振り分けの規律が重要だと指摘する。

また、チームは本来データの問題であるものを大きなモデルで解決しようとしがちだと警告する。弱い検索、古いナレッジベース、不適切なコンテキストを直す方が安上がりであり、こうした問題に計算資源を注ぎ込むのは、半分しか効かない最も高価な対処法だと述べている。

技術面では、小規模モデルが実用水準まで改善し、段階的な使い分けが現実的になったと論じる。今日の8Bモデルは数年前に70Bモデルが苦戦した作業をこなせる。また、ルーターが時折リクエストを誤った階層に送るのは、その誤りが検知されれば許容できるため、エスカレーション経路を定めるよう助言している。