Mantis式が脆弱性15件中14件検出し誤検知ゼロ

このベンチマークは実務上の不満を軸にしている。LLMコードレビューは無害な警告を大量に出すため、開発者が読まなくなる。西藤氏は単純なプロンプトベースのAI脆弱性スキャンの真陽性率が7%未満という学術研究を引用し、それを打ち破る基準としている。

4手法はツールの世代を代表するよう選ばれた。PythonのASTパターンマッチャーであるBanditは実在15件中5件しか検出せず誤検知4件だった。os.path.joinが第2引数の絶対パスで第1引数を捨てるといった言語特有の挙動を見抜けないためだ。Semgrepは再現率60.0%に向上したが誤検知6件は残り、別ファイルや認可デコレータにある検証を追跡できなかった。

素のLLMの結果が本稿の転換点だ。os.path.joinの罠、二重デコード、Zip Slipを含む実在15件中14件を検出したが、約7,700トークンと40秒超を消費し、安全なコード3件も検知した。Mantis式設計は両問題を同時に解決する。AST要約ツリーで入力トークンを7,735から1,543へ（約80%）削減し、サンドボックス化した動的PoCステップが安全なデコイを全て棄却。適合率100.0%を保ちつつ再現率は93.3%を維持した。実運用にはコンテナエスケープ対策や外部依存の自律的モック生成がなお必要で、これはベンチマークのスコアではなく運用上の課題だと著者は指摘する。