推論市場が分裂——各モダリティが独自の推論スタックを開発

推論市場は世界で最も急速に成長している市場であり、モダリティごとに分裂が進んでいる。ChatGPTの登場後、NVIDIAのデータセンター売上は3年で17倍成長した。

画像・動画は計算量が多く、長いコンテキストウィンドウはKVキャッシュ（モデルが情報を保持するメモリ）用にメモリが必要となり、エッジデバイスは電力制約がある。単一のアーキテクチャではすべてを最適化できない。

モデルエコシステムはこの分裂を反映している。少数の支配的なLLM（文章を理解・生成するAI）の傍らで、Hugging Face上に90,000以上の画像生成モデルが存在し、毎日新しい亜種が登場している。