UCバークレー：ハーネスでAI回答コスト71%削減

この研究結果は、あらゆるタスクに最先端モデルを使わせるためにいくら費やすかを企業が天秤にかける中で出てきた。記事が挙げる、同じ$250kの契約に2社のスタートアップが入札する例——一方は各ステップで最先端モデルを呼び出し、もう一方はそれを必要とする少数のステップに取っておく——は、その選択がそのまま粗利益率に直結することを示す。38%対75%だ。安い方のスタートアップは営業コストの回収も半分の期間で済み、記事はこれを「採用を2倍の速さで進められるか、そうでないか」の違いだと位置づける。

記事は、このコスト優位は模倣しにくいと論じる。安いモデルへのルーティングは、どのタスクをこなせるかを把握していて初めて安全になり、その知識は同じ仕事の何千ものバージョンを見ることで得られる。コスト優位と堀は同じ資産だということだ。高コストな構成は、8,600を超える評価ごとに損失を出し、顧客が最も価値を感じるまさにその時に利用を制限せざるを得なくなる。

記事は100%の利益率を約束することを慎重に避けている。推論が安くなるにつれ、買い手はエージェントにもっと多くのことを求めるようになり、均衡点は移る。それでも残るのは2社の間の差だと記事は言う。その差が42件の比較を超えて他のモデルやタスクでも保たれるかが未解決の問いだ。