KogがAI推論を30倍高速化

Gaël Delalleauによって創立されたKogは、AI インフラの最も差し迫った課題の1つに取り組んでいる。それは推論の速度、つまりAIモデルがユーザーのプロンプトに対する回答を生成する計算ステップである。Cerebasのようなライバルがカスタムシリコンで推論を加速させることに賭けている一方、Kogは企業データセンターにすでに存在する従来型GPUがソフトウェアのみで解放される未開発のパフォーマンスを含んでいると賭けている。5月、同社はHacker Newsでテック プレビューを公開し、標準的なデータセンターGPU、特にAMD MI300XおよびNvidia H200上での極めて高速な単一リクエストデコーディングを実証し、20億パラメータを持つ小規模オープンソースモデルLaneformer 2Bで3,000トークン/秒を達成した。同社は全体的に30倍高速なLLM推論を提供できると主張しているが、より大規模なモデルでのこれの実証は保留のままである。早期の対応は期待を上回った。Kogはプレビューから200件の具体的なビジネスリードを集積した。Delalleauはソフトウェアエンジニアリングが最も直近のユースケースであると示唆し、Claude Codeのようなツールが時々ユーザーに数時間の待機を強いていると述べた。Anthropic自体はClaudeの高速モードに対して価格倍数を課すことで速度を収益化し、顧客がより高速な推論に支払うことを検証している。Kogはまたゲームやアプリをプロンプトから生成することをユーザーに可能にするデザインパートナーと交渉しており、レイテンシの削減はセッションあたりのより多くの収益に直結するだろう。しかし、Kogは技術的な飛躍に直面している。デモは目的に応じて構築された小規模モデルで機能したのに対し、企業の需要は大規模言語モデルに向かっている。Delalleauは同じ最適化技術がより大きなシステムに適用されると確信し、新しいGPUの増大するメモリ帯域幅を利用できない失敗からデコーディングに対するGPUが不適切であるという誤解が生じていると主張している。Delalleau自身はフランスのÉcole Polytechniqueで固体物理学を研究し、攻撃的なサイバーセキュリティ（ホワイトハットハッキング）に何年も費やし、DEFCONのCFTトーナメントに4回参加した。この背景は彼のチームの方法論を形作った。科学面では、効率を最大化するためにGPU物理学を理解すること。ハッキング面では、ハードウェアをアセンブリ言語とバイナリまで逆エンジニアリングして、意図しない目的のために再利用すること。欠点は労働集約的である。Kogは対応する各新しいチップに対してGPUエンジニアリング研究の数週間または数カ月を費やしている。11人の従業員しかいないため、これは同社が短期的に対象にできるチップを制限し、Delalleauはながらくエージェントベースのパイプラインを通じてプロセスを自動化することを望んでいる。当面、Kogは9月までに最初の主要モデル最適化で10倍速を提供することに焦点を当てており、Delalleauはこれを顧客牽引力を実証し、シリーズA資金調達を確保するのに必要なマイルストーンとして位置付けた。同社はScaleway、Bpifrance、フランスのTech 2030プログラムの支援を受けており、米国のチップおよびソフトウェアベンダーからの独立を求める大陸としてのヨーロッパの主権的AI能力構築のより広範な取り組みの中に位置付けられている。