Baidu、2800億パラメータのオープンモデル公開

BaiduのERNIE-5.5-Flash-Baseは、あえて未完成の製品として登場した。同社は微調整も事後学習も施さずにベースの重みを公開しており、モデルの有用性は開発者がその上に何を築くかにかかわる。この選択は作業をオープンソースコミュニティに移す一方、Baiduは事後学習版も追って出す予定だという。

アーキテクチャの詳細が設計を物語る。ERNIE 5.5は2800億パラメータのmixture-of-experts構成で、入力ごとに稼働するのは140億のみ。33.5兆トークンで事前学習され、学習時のコンテキストは最大128,000トークンに及ぶ。Baiduによれば、微調整と推論では最大100万トークンのコンテキストに対応する設計で、この範囲は長文書やコードのタスクで重要になる。

Baiduは、推論・コード・長文コンテキストのベンチマークで、同規模のオープン基盤モデルと競合するとしている。重みはHugging FaceでFP8とBF16の形式で公開されており、開発者に適応のための具体的な出発点を提供する。