独AI「Soofi S」、英独ベンチマークで最高性能

何が起きたか

ドイツの研究コンソーシアムが、Deutsche Telekom のミュンヘンクラウド施設で完全にトレーニングされた 300 億パラメータのオープン言語モデル Soofi S をリリースした。事前トレーニングレポートによると、Soofi S は完全にオープンなモデルの中で英語とドイツ語の両ベンチマークで最高スコアを達成し、OLMo 3 32B と Apertus 70B を上回っている。

なぜ重要か

このモデルは軽量なハイブリッドアーキテクチャを使用しており、トークンあたり約 32 億パラメータのみをアクティブ化するため、計算コストは 30 億パラメータモデルに近い一方、従来の密集モデルが急激に低下する非常に長いコンテキストでのスループットを維持している。40,000 トークンで 32 並列リクエストの場合、Soofi S は 140 億～240 億パラメータ範囲の密集モデルと比較して GPU あたり約 8 倍多くのトークンを生成する。ドイツ語トレーニングデータの意図的な強調—第 1 トレーニングフェーズの 7.2% から第 2 フェーズの 15.3% に増加—は、非ヨーロッパインフラストラクチャに依存しないヨーロッパアプリケーション向けの強力な代替案として位置付けている。

注目点

コンソーシアムは次のフェーズの業界パートナーを探しており、技術文書、コード生成、エージェントベースシステムに関するアプリケーションでモデルをテストする予定である。モデルウェイト、中間チェックポイント、トレーニングコード、詳細なデータインベントリがリリースされており、トレーニングミックスの約 99% を独立して再構成できるが、モデルリリースの正確なライセンスはまだ確定していない。