GitHub、AIコードレビューBench公開

エージェント型コードレビューは、コードが出荷される前にプルリクエストを検査して問題を捉える用途でますます使われているが、チームにとって、こうしたAIレビュアーが実際にどれだけ機能するかを測るのは難しかった。既存のベンチマークはラベルの品質、網羅性、実世界での代表性の間でトレードオフになりがちだったため、GitHubは三つを兼ね備えるべくReviewBenchを構築した。このベンチマークは103.9 million件のGitHubプルリクエストを分析し、言語、リポジトリの規模、さらにはプルリクエストの規模までモデル化し、小さな単一ファイルの変更が支配的にならないよう、レビュー対象となる中間層と裾を意図的に重み付けしている。正解データは、人間のレビュアー、後続コミット、静的解析ツール、最先端LLMという複数来源のゴールデンセットから得ており、重複する指摘は統合し、すべての指摘を公開されたルーブリックに基づきLLMジャッジが検証している。データセット構築に関わっていないシニアエンジニアがすべての正解指摘を再ラベル付けし、ReviewBenchと96.6%の割合で一致した。

ベンチマークは2系統・6指標を報告する。固定のゴールデンセットに対するgrounded precision、recall、F1と、以前は知られていなかった有効な問題を挙げたエージェントを評価するaugmented precision、recall、F1である。これは重要だ。固定のゴールデンセットは、システムの能力が高まるにつれて必然的に不完全になるため、augmented指標は予期しない問題を見つけたエージェントにペナルティを与えるのを避けられる。ユーザーは結果を深刻度とカテゴリで切り分け、βパラメータを調整して網羅性を広げるかノイズを下げるかを選べ、リーダーボードもそれに応じて再ランキングされる。

GitHubはReviewBenchを使い、Copilotコードレビューを複数回のイテレーションで評価した。最近のある実験——複数の独立したモデル実行を単一のレビューに統合するマルチモデルアンサンブル——は、このベンチマークの価値を示した。ReviewBenchは適合率、再現率、コメント量の向上とレビューあたりコストの低下を予測し、その後のオンラインA/Bテストでは対応率が8.0%上昇、再現率が13.6%上昇、コメント量が61%増加、レビューあたりコストが8.0%低下した。深刻度レベルの評価も一致し、重大コメントが227%増加すると予測したのに対し、オンラインでは262%増加した。未解決の問いは、レビューエージェントが進化し固定のゴールデンセットが古くなるにつれ、この予測精度が保たれるかどうかである。今後の提出でもオフラインのシグナルが本番を追随するかが試金石となる。