推論市場は世界で最も急速に成長している市場であり、モダリティごとに分裂が進んでいる。ChatGPTの登場後、NVIDIAのデータセンター売上は3年で17倍成長した。
画像・動画は計算量が多く、長いコンテキストウィンドウはKVキャッシュ（モデルが情報を保持するメモリ）用にメモリが必要となり、エッジデバイスは電力制約がある。単一のアーキテクチャではすべてを最適化できない。
モデルエコシステムはこの分裂を反映している。少数の支配的なLLM（文章を理解・生成するAI）の傍らで、Hugging Face上に90,000以上の画像生成モデルが存在し、毎日新しい亜種が登場している。
たとえば、いま届くならこの3本です
AIが要約して、あなたの選んだトピックだけを1日1通。LINE・Email・Slackで届きます。
登録無料・30秒で完了・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。Q&Aはこのページに公開され、他の読者も読めます。
DIGITIMESによると、AIシステムのスケール拡大に伴い、データセンター内の相互接続要件がチップやボードからラック、クラスター、さらにはデータセンター間リンクにまで拡大している
中国の大規模言語モデル開発企業Z.aiは、国産AIチップ約10万基を用いた大規模推論をサポートできると発表した
アナリストのミンチー・クオ氏によると、Nvidiaは大幅に再設計されたアーキテクチャを備えたAIアクセラレータ「Rubin CPX」を復活させ、生産は2027年第1四半期に開始される見込み
パランティア・テクノロジーズ株は長期上昇を続け、3年で11倍のリターンを達成
AppleはOpenAIとの法廷闘争を激化させ、新たな裁判所提出書類でOpenAIが証拠を積極的に隠滅していると主張
サムスン電子は、AIインフラ向け高帯域幅メモリ（HBM）の需要が衰えない中、メモリ生産能力の最大70%を長期供給契約（LTA）で固定した
