GitHub Copilot、品質維持しコスト削減

GitHubの取り組みは、AIコーディングにおける根本的な問題を示している。局所的な最適化が全体効率を損なう可能性があるという点だ。Rust Token Killerユーティリティはシェル出力を短縮したが、エージェントが欠落した詳細を補うためにコマンドを再オープン・再実行することが多く、総トークン数が増加した。そのためGitHubは、エージェンティックコーディングベンチマークと統制実験を用いて、完全なタスク単位で変更を評価する方式に切り替えた。出力圧縮の初期版は過剰に圧縮しすぎたが、失敗を繰り返すうちに、ソースに近い出力を保持し、反復的なノイズのみを圧縮するポリシーが確立された。プロンプト圧縮の例もリスクを示している。メタプロンプトループが当初は独立したエージェントを直列化してしまったが、回帰テストが検出し、1文の修正で並列処理が回復し、ターンあたり約1,300トークンを節約できた。これらの教訓はCLIにとどまらない。同じハーネスがGitHub Copilotアプリとコードレビューでも使われている。コードレビューの移行と指示チューニングだけでコストを約20%削減しており、共有ファイルツールもさらなる改善が見込まれる。記事は、トークン削減は特定のワークフローで測定すべきだと強調する。レビューに有効だった変更がCLIではコスト増を招いた例もあるからだ。最終的には、文脈や動作を失わずに不要なオーバーヘッドを除去する創造的な方法が焦点となる。