DeepSeek V4 Proは3回の実行を統合すると、32件中28件の脆弱性を発見し、先端モデルを上回った。
オープンウェイトモデルは、コストが数分の一でありながら、網羅性でクローズドモデルに並ぶか勝る。
高価な単独実行よりも、安価なモデルの反復実行の方が高い網羅性を得られるが、誤検知の選別という追加コストが生じる。
何が起きたか
サイバーセキュリティ企業が10種類のAIモデル（DeepSeek V4 Pro、Qwen、GLM-5.3、Grok、Opus 5など）を、32件の実在する脆弱性を対象にベンチマークテストし、各モデルに3回ずつ挑戦させた。全実行回の結果を統合したところ、DeepSeek V4 Pro 0813が32件中28件と最多の脆弱性を発見。GLM-5.3はOpus 5と同じ32件中26件を発見しつつ、コストは69.8%削減した。
なぜ重要か
オープンウェイトモデル（DeepSeek、Qwen、GLM、Kimi）が、クローズドな先端モデル（Opus 5、Grok 4.6、Sol）に統合発見数で並ぶか、それを上回った。従来の序列が覆ったことになる。安価なDeepSeek Flashを3回実行（合計108ドル）すると24件の脆弱性に到達し、1回450ドル〜590ドルかかるGrokの最良の単独実行と同等の結果を出した。これは、セキュリティチームがAIモデルを選定する際の費用対効果の計算を一変させる。国内のセキュリティ担当者は、選定基準をコスト重視へ見直す可能性がある。
注目点
このベンチマークは、合計96回（モデルあたり3回）の実行で117億トークンを消費した。DeepSeek Proは個々の実行での一貫性が低く（28件中10件しか全実行で発見できず）、反復実行がそれを補った。また、オープンモデルは誤検知も多く、選別の負担が後工程に移る。研究者らは、オープンウェイトモデルを人間の監視なしで先端モデルの代替とするには、慎重なハーネス（実行環境）の設計が依然として必要だと強調している。
このベンチマークは、セキュリティタスクにおける公開AIモデルの性能序列に大きな変化をもたらすものだ。従来の評価ではオープンウェイトモデルがキャッチアップしつつあるとされていたが、今回、脆弱性発見という特定タスクにおいて、先端モデルに追いついたばかりか、一部では追い越したことを示した。重要な発見は、脆弱性発見が他の多くのAIタスクと異なり、出力のばらつきがプラスに働くということだ。同じ問題に対して同じモデルを複数回実行すると探索経路が異なり、その結果を統合することで、単独実行よりも多くの脆弱性を発見できる。DeepSeek V4 Proは1回目の実行では17件しか発見できなかったが、3回の統合で28件に達した。Qwenは19件から26件へと伸びた。この性質により、モデルの一貫性の欠如という通常は欠点と見なされる点が、利点に転換される。
コスト効率が新たな重要な変数として浮上した。DeepSeek Flashの3回実行は108ドルで24件の脆弱性を発見し、約10倍のコストがかかるGrokの最良の単独実行と同じ結果だった。早期評価パートナーとしてテストされたGLM-5.3も、プレビュー版からファイナルリリースで性能を向上させ、Opus 5の網羅性に69.8%低いコストで匹敵した。しかし、その代償はノイズの増加だ。オープンウェイトモデルは誤検知が多く、研究者らはこれを後工程の負担と明言している。つまり、コスト削減は、モデル実行の労力から、その出力の選別へと人間の作業を移すことになり、「安ければ良い」という単純な構図を複雑にしている。
たとえば、いま届くならこの3本です
AIが要約して、あなたの選んだトピックだけを1日1通。LINE・Email・Slackで届きます。
登録無料・30秒で完了・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。Q&Aはこのページに公開され、他の読者も読めます。
