Intel、MLPerf v6.1でXeon推論2.4倍

今回のMLPerf Inference v6.1でIntelが強調したのは、新しいチップではなく既存チップの使い方の改善である。v6.0と同じXeon 6980Pと同じソケット数で、Llama 3.1 8BのServerスループットが2.4倍、Offlineが56%伸びた。つまり顧客がすでに持つサーバーでも、ソフトウェアを更新すれば性能が上がる余地があることを示している。

もう一つの変化は検証の広がりだ。Intelプラットフォームでのパートナーや顧客の結果は29件から39件に増え、Oracleは初のIntelベース提出、Red Hatは初のXeon CPU推論提出を行った。Quanta Cloud TechnologyとSupermicroはArc Pro B70を使う初のパートナー提出を出した。Intel自身の主張だけでなく、第三者の検証が増えている点は、導入を検討する企業にとって判断材料になる。

モデル対応も広がった。4基のArc Pro B70で128GBのVRAMを構成し、Llama 3.1 8BやLlama 2 70B、gpt-oss-120B、Whisper、E2E-RAGといった複数モデルで結果を出した。特にgpt-oss-120Bは同じ4基構成でServerが36%、Offlineが27%改善した。新設のE2E-RAGではXeon 6787Pと4基のArc Pro B70を組み合わせ、CPUが埋め込みやベクトル検索、GPUがLLM生成を分担する構成で結果を出した。

こうした性能向上が実際の運用環境でも再現されるかどうかが焦点となる。ベンチマークは構成や条件で結果が変わるため、導入企業は自社のモデルや負荷で確認する必要があるとみられる。