594BのマルチモーダルMoEを公開

Inkling 2 Smallは合計594B・アクティブ17BのマルチモーダルMoEとして登場した。パラメータ数はInkling Smallの約2倍で、Tinkerエコシステムの能力向上を担う位置づけだ。GB300上で68時間かけて事前学習し、主要な事前学習フェーズでは8.4TトークンをNVFP4でネイティブに処理した。事後学習では9日間に17Mのロールアウトを実施し、エンジニアはほぼゼロの合格率から長期的タスク能力を立ち上げたと強調した。

カスタマイズ性は設計目標として打ち出されており、Soumith Chintala氏は「カスタマイズ性に関するローンチブロッキング評価を設けている業界でもほぼ唯一のモデルプログラム」と述べた。同じデータと予算なら代替案よりファインチューニング性能が高いとも付け加えた。推論はトークン消費が多く、Indexの1タスクあたり約150K出力トークンで、Inkling Smallの約37Kを大きく上回る。ただトークン単価が安いため、1タスクあたりのコストは1.18ドルで、前モデルの0.20ドルに収まる。

Valsはオープンウェイトモデルの世界ランキングで7位とし、金融や法務に強みがある一方、技術系エージェントタスクでは挽回すべき差が大きいと指摘した。オープンウェイトの主張は依然条件付きで、Apache 2.0の重みは来週公開予定。Artificial Analysisは公開時点で独自モデルとして掲載し、重み公開日は未確認としている。