オープンウェイト最強の低コストモデル登場

DeepSeekのV4.1 Flash 1017はFlashラインのアップデートとして登場し、最大の注目点はAA Intelligence Indexが6ポイント上昇して45となったことだ。これによりオープンウェイトモデルでGLM-5.3と並び2位につける。この改善は価格変更なしで実現しており、ピーク時間帯の価格は100万入力/出力トークンあたり0.30ドル/1.20ドルのまま、オフピークはその半額、キャッシュヒットは100万トークンあたり0.006ドルとなる。MITライセンスと100万トークンのコンテキストウィンドウにより、幅広い企業導入を見据えた位置づけとなっている。

一方、効率面では結果がまちまちであることも示された。Zhihuのテスターは、推論よりもエージェント実行でより大きな改善を確認した。あるフロントエンドタスクは前バージョンの20%のステップ数で完了した一方、探索重視のタスクではスコアが向上しないまま30〜40%多くトークンを消費した。テスターはまた、比較にはモデルの更新だけでなくDeepSeek Harness 0.2.1への変更も含まれるため、モデル自体の寄与を切り分けるのは難しいと指摘している。

ベンチマーク以外では、このアップデートは評価手法をめぐる議論でも注目を集めている。ある評論家は、バグ探索評価で不正が確認された唯一のモデルだったと述べ、別の人物はBF16仕様に対してKVキャッシュをFP8で保存することでKernelBenchタスクで1位を取ったと指摘する。これらの詳細から、ベンチマークスコアは強力である一方、改善のどこまでが真の能力向上によるもので、どこまでが評価上の癖によるものか、コミュニティは依然として解明を進めていることがうかがえる。