Mistral Large 4、1兆パラメータ公開

Mistral AIはMistral Large 4をこれまでで最も高性能なモデルとして公開したが、今回の立ち上げは可用性を2段階に分けている。モデルは現在、Mistralのクラウド平台上の一般プレビューとしてのみ稼働しており、外部の開発者が自ら実行できるようにする重みは今月中に約束されている。この順序はオープンソース利用者にとって重要で、第2段階が来るまでモデルをセルフホストできない。

内部では、Mistral Large 4は専門家混合設計を採用している。1兆パラメータを保持するが、同時に稼働するのは490億のみで、プロンプトごとに必要なハードウェアを減らすための手法だ。Mistralはまた、自社のソフトウェアスタックが数万の展開を並行して実行し、1日あたり330億トークンを生成し、そのうち半分弱が学習ワークフローに供給された学習構成についても説明した。同社は学習にどれだけかかったかは明言しなかったが、現モデルを作成した後も実行を一度も停止しなかったと述べ、同じワークフローが今後数カ月により大きく高性能なバージョンをもたらし、最終的には特定のユースケース向けに調整された一連のモデルをもたらすと期待している。

ベンチマークでは状況はまちまちだ。Mistral Large 4はAA Cyber Indexでトップ5のスコアを獲得し、オープンソースプロジェクトのパッチ適用で82%を記録してオープンソースの競合を上回り、画像オブジェクトのベンチマークではGPT-6 Astraを1%上回った。人気のコーディングベンチマークではAstraのようなフロンティアモデルに大きく後れを取るが、それらやナレッジワークのテストでは他の主要オープンソースモデルを上回っている。未解決の問いは、約束された重みの公開が予定通り実現するか、そして後続モデルがMistralの予測する能力向上をもたらすかだ。