GitHub Copilot、コード審査プロンプト改善で20%コスト削減

何が起きたか

GitHub の Copilot コード審査エージェントは、Copilot CLI の共有コード探索ツール（grep、glob、view）を採用した直後、パフォーマンスが低下しました。これらのツールはより保守されていたにもかかわらず、実際の問題はツール自体ではなく、エージェントを指導する指示文でした。指示文は汎用コーディング支援用に調整されており、ターゲット化されたコード審査には対応していませんでした。プルリクエスト審査方法に合わせて指示文を書き直した後、エージェントは審査品質を維持しながら、平均審査コストを約20%削減しました。

なぜ重要か

エージェントツールは、指示文と同程度にしか機能しません。GitHub は共有インフラストラクチャをアップグレードしながらワークフローを適応させなかったため、エージェントは広く参照して不要なコンテキストを蓄積し、トークンとフォーカスを無駄にしてしまい、レビュアーの差分から開始して対象を絞った質問をする焦点を絞ったアプローチに従いませんでした。コード審査やそれに類するタスクに AI エージェントを使用するビジネスにとって、ツールの改善だけでは結果の向上を保証しないこと、また、それらを取り巻くプロンプトとワークフローが実際の仕事に適合する必要があることが示されています。

注目点

修正では、指示文を書き直してワークフローを狭める必要がありました。差分から開始し、grep と glob を対象を絞った発見に使用し、ファイルを読む前に検索をバッチ処理し、必要な正確な証拠のみを読み取り、広い探索を避けることです。この原則は、汎用ツール指示文が特定の、より狭いユースケースと対立する他のエージェント応用に関連する可能性があります。