何が起きたか
Metaはバグのあるコードで失敗するLLM生成テスト「Catching JiTTests」を導入し、2026年上半期に差分段階で深刻なプライバシーバグ74件を検出した。真陽性率は60%。
なぜ重要か
この結果は、AI生成テストが、従来のテストやLLMベースのコードレビューでは見逃しうるバグ類型を捉える安全層として機能しうることを示す。
誰に効くか大規模なコードベースを持つエンジニアリングチーム、特にコード出荷を加速するエージェント型ソフトウェア開発を採用するチームは、出力ごとのレビュー負荷を増やさずに本番前にバグを検出する手段としてAI生成テストを捉えるかもしれない。ただし、真陽性率がMetaの環境外でも維持されるかは今後明らかになる。
こういう要約が、毎朝あなたのメールに届きます。
Metaの今回の公表は、大規模言語モデルをソフトウェアテストに応用する取り組みに関する約1年にわたる公開研究アップデートの集大成といえる。同社はまずJiTTestsの手法を発表し、その後5か月をかけてCatching JiTTestsを導入し、研究環境を超えたスケーラビリティと適用可能性を検証した。システムは今やプロトタイプではなく、Metaのインフラの一部として稼働している。
この導入は、Metaの規模に特有の問題に対処するものだ。数億行のコードが絶えず変化しており、従来のテストでは追いつくのが難しい。Catching JiTTestsはこの問題に二つの方向から同時にアプローチする。コード変更が何をしようとしているかを推論し、想定される失敗箇所を狙う意図認識ワークフローと、あらゆる変更を潜在的なバグとみなし、挙動の違いを明らかにするテストを生成する「dodgy diff」ワークフローだ。偽陽性は、エンジニアに判断を求める前にRubFakeとLLM-as-Judgeアンサンブルで除外される。
報告された成果は、589人のエンジニアがシステムを利用し、利用したエンジニアは60%の真陽性率で真に実用的な知見が得られると報告したというものだ。Metaはまた、Catching JiTTestsが2026年上半期にプライバシーSEVの全体的な発生率を20%低下させるのに貢献したと報告しており、このシステムを人間の判断の代替ではなく、AI生成テストのためのスケーラブルな安全層と位置づけている。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る
アクセンチュアの従業員が個人のClaude Codeアカウントに国防総省のNIPRNet環境への管理者アクセス権を与えたと情報筋が証言
Google Geminiが本日より全ユーザーのチャットでPDF、Google Docs、Google Sheets、スライド、Markdown、TXT、コードの生成・プレビュー・編集を可能にした
元Palantir幹部のAndy Elder氏とArjun Mathur氏が創業したDreamが、Andreessen Horowitz主導のシード資金1700万ドルを調達しステルスから登場
Mistralは1兆パラメータのMistral Large 4（「Le Chonk」）の重みをHugging Faceと自社APIで公開した
Epsilonのエンジニア50人のAgentic Platformチームが、既存のPlaywrightスイートの上に平易な英語で書けるUIテストを重ね、ui-test-agentとして公開した
Metaは1918年設立のCNIBと提携し、声の収集、ピアトレーニング、製品フィードバック、学習教材の4分野に資金提供
