IBM、Granite 4.1 LLMファミリーを発表—約15T トークンの5段階事前学習パイプラインで、8B モデルが32B MoE モデルに匹敵する性能を実現

Granite 4.1は3B、8B、30Bの3サイズの密集型デコーダーのみトランスフォーマーモデルで構成され、約15T トークンで学習。5段階の事前学習パイプライン（一般的な事前学習、数学/コード事前学習、高品質データアニーリング2段階、長文脈学習）を採用し、文脈長を512K トークンに拡張。

8B インストラクトモデルが先代のGranite 4.0-H-Small（32B-A9B MoE）に匹敵するか上回る性能を発揮しながら、より単純な密集アーキテクチャで少ないパラメータで構成。監督付きファインチューニングで約4.1M件の高品質キュレーションサンプルを使用し、LLM判定フレームワークで品質管理。

すべてのGranite 4.1モデルはApache 2.0ライセンスでリリース。HuggingFace CollectionとGitHubで公開。