Project Zero、AIがファジング超え

Project Zeroの比較は、いずれもV8に新たに追加されたコードに対して本番環境で稼働する2つのシステムに基づく。Fuzzilliは変更を数時間で取り込み始める生成的JavaScriptエンジンファザーであり、BigSleepは1日1回稼働し、新しいコミットをレビューして概念実証のテストケースを書くよう促されるエージェント型LLMシステムだ。どちらもClusterfuzz経由で報告しChromeの課題トラッカーに登録するため、バグ件数はかなり直接的に比較できる。生の本番件数は、セキュリティ以外のバグや対応不能な報告を除く何段階もの絞り込みを経て、実用的な脆弱性45件対37件に落ち着いた。

重複の問題には2つの方法で迫った。バグトラッカーでは、登録内容、Clusterfuzzの基盤データベース、共通の修正コミットをまたいで重複を追跡し、本番環境での重複を約25%と算出した。専用実験では、過去のFuzzilliのバグ112件を引き起こした可能性が高いコミットをBigSleepに与え、再発見を試みさせた。BigSleepは元のバグの約62%を再発見し、さらに12%については別の（その時点で修正済みの）バグを見つけた。Project Zeroによると、本番環境での重複はいくつかの要因で抑えられている可能性が高い。片方のシステムが見つけたバグが修正されると、もう片方は再発見できなくなる。またBigSleepのパイプラインは4月の稼働開始以降、モデルの更新や時折の自動化の不具合を経験してきた。

難易度については、データはAIがファザーの苦手な部分を簡単に引き継ぐという考えに反していた。Fuzzilliがより時間を要したバグはBigSleepも苦手とする傾向があり、Project Zeroはこれをファザーを動かし続ける理由と見ている。コンポーネント別の内訳では、Fuzzilliが最も得意とするJITコンパイラで重複が顕著に低かった。バグの古さをまたいだ記憶の確認では、モデルの実効的な知識カットオフより前には統計的に有意な効果は見られなかったが、Project Zeroは将来のモデルについて再評価することを勧めている。