OpenAI自社チップ、NVIDIA超えの性能

Jalapeñoの発表は、Broadcomとの提携発表から1年も経たないうちに、第37回Hot Chips会議の主役となった。このチップはASICではなく、Blackwellクラスのシステムを凌ぐとされる完全な代替品である。SemiAnalysisは、初代チップとしては異例の強さで、BlackwellやRubinクラスのシステムと直接比較できると指摘した。

第二の注目点は、モデル支援によるシステム最適化だ。GPT-AstraとCodexが低レベルカーネルの作成と最適化を支援し、約2か月で3つの未計画のオープンウェイトモデルを高性能に動作させた。これは、コンパイラやカーネルの作業がアプリケーション層のコーディングだけでなく、モデル改善のループに組み込まれつつあることを示している。

複数の技術的見解では、Jalapeñoは一部のセットアップで積極的なprefill/decode分離や投機的デコードなどの手法を用いなくても良好な性能を発揮し、それらを用いるシステムを上回った。このことは、フロンティアラボが推論の経済性においてNVIDIAに依存しなくなる業界全体の移行を示唆するが、パッケージングとファウンドリの生産能力は依然として厳しい制約である。