Gimlet Labsが3億ドル調達、推論を高速化

今回のラウンドは、AI開発者が本番環境で大規模モデルを運用する際のコストと遅延の削減圧力が高まる中で実施された。Gimletのアプローチは中核的な非効率性に対処するものだ。LLMは単一の均一なワークロードではなく、ハードウェア要件が大きく異なる複数の部品から成るため、単一のチップタイプで全体を実行するとリソースを浪費しうる。ワークフローを分離し、各部分を専用アクセラレータに一致させることで、プラットフォームは推論の高速化と低コスト化を目指す。この成果は、AIを大規模に活用する企業にとって重要になる可能性がある。

同社の手法には、一般的なPD分離（プリフィル段階とデコード段階の分割）に加え、より細かな分割（デコード段階を小さなタスクに分けたり、軽量な「ドラフター」モデルを大きなモデルと併用したりする）も含まれる。ソフトウェアはAIエージェントと独自コンパイラを使って各モジュールを対象チップ向けに最適化する。この資金でGimletはサーバーレス容量を数100メガワット拡張し、専用ハードウェアへ進出する。同社は専用推論インフラへの需要が続くと見込んでいることを示している。