レビュー指摘をAIに覚えさせても事前に防げたのは半分

開発者は8月下旬にこのカタログの構築を始め、現在40パターンを保有している。個々のマージリクエストではなく種類別に分類し、表面的な詳細が異なっても照合できるようにした。最も頻度の高い2種類はいずれも同じ根本的失敗を表している。検証されたように見えて実際にはされていないものだ。このテーマは検査システム自体をテストしたときにも繰り返された。Claude Codeがパターンを飛ばし始め、重要なものは確認したと言い出したが、これはまさにカタログが捕捉すべき最多パターンだった。

遵守を強制するため、開発者は丁寧な依頼を仕組みに置き換えた。AIは全パターンについて該当・非該当を根拠付きで記入した表を埋めなければならず、空白行や根拠のない行があればスクリプトがマージコマンドをブロックする。テストは過去のマージリクエストを元の状態に戻し、AIが実際のレビュー指摘を何件指摘したかを数える方法で行われた。最初の実行は15件中13件と好調に見えたが、カタログにはテスト自体の記録が残っていた。答えが学習ノートに載っていたのだ。未使用のマージリクエストを使い、それらの記録を除いた2回目の実行で、実際の数値である55〜64%が出た。

開発者はこのアプローチが正しいかどうか確信を持てず、カタログの増大、曖昧なパターン境界、頻出問題をAIの記憶に委ねるのではなくlintルールやテストテンプレートにすべきかという未解決の疑問を挙げている。別のスキルが完了したマージリクエストを学習材料に変え、開発者が無関係な状況に教訓を移せるかを試している。