GitHub、ReviewBench公開

AIコードレビュアー向けの既存ベンチマークは、ラベルの品質、網羅性、実世界での代表性の間でトレードオフが生じやすく、チームが再現可能な形でシステムを比較する手段がなかった。ReviewBenchは、GitHub上の1億件を超える実際のプルリクエストを基にコーパスをモデル化し、プルリクエストのサイズを1ファイルだけの小さな変更ではなくレビュー可能な中規模・裾野側に重み付けすることで、このギャップを埋めようとするGitHubの試みだ。

その正解データは、人間のレビュアー、著者の後続コミットから推測されるissue、決定論的な解析ツール、複数の最先端LLMから集められ、重複排除した上で1つの公開ルーブリックに基づいて判定される。レビュアーエージェントは2系統の指標で採点される。既存のゴールドセットのラベルに対する根拠付きの適合率と再現率、そしてゴールドセット作成者が surface しなかった有効な指摘も評価できる拡張適合率と再現率だ。結果は重大度やカテゴリ別に集計でき、より広い網羅性を好むかノイズの少なさを好むかに応じてFβスコアのβを調整して並べ替えることもできる。

GitHubによると、このベンチマークはCopilotコードレビューを繰り返し評価するために使われており、オフラインでの変化はその後の本番A/Bテストと一貫して同じ方向を示してきた。したがって成否は、このオフラインとオンラインの整合性がGitHub外で構築されたエージェントでも保たれるかどうかにかかっており、公開リーダーボードとセルフサーブの実行環境はそれを検証するために設計されている。