AIトークン原価は利用率や運用環境で大きく変動、企業は実際の価値指標よりトークン支出に注目しすぎている

機械学習研究者Devanshの分析によると、Nvidia H100 GPUでの推論コストは100%利用率時に約$0.0038/M tokens（1百万トークンあたり）だが、実際の30%利用率では~$0.013/M tokens、10%利用率では~$0.038/M tokensとなる。一方、Anthropicの最新モデルOpus 4.7は$5/M tokens（入力）と$25/M tokens（出力）で提供されている。

MetaやShopifyなど一部企業がトークン使用量を重要な業績指標として扱い、従業員がAIツール使用で価値を示そうとしているが、Devanshはトークン支出と生産性は直接相関していないと指摘している。

IT consultancyのFuture Tech EnterpriseのCEO Bob Veneraは、Fortune 100クライアントの多くが達成したい目標を明確にせずAIプロジェクトに多額の投資をしており、企業がAIの影響を測定してROIを評価するのに苦労していると述べている。