GitHub Copilot、品質保ちつつAIコスト削減

GitHubの投稿は、ツール呼び出しではなく成果の最適化が鍵となるという原則を浮き彫りにしている。同社は、個々の応答を短縮すると、エージェントが出力を再読取したりコマンドを再実行したりする必要が生じ、余分な作業と高いコストを招くことを実証した。これは、シェル出力を短縮するユーティリティRTKがテストでトークン使用量を実際に増加させた事例で示された。

4つの変更（選択的出力圧縮、行番号プレフィックスの削除、メタプロンプティングによるプロンプト圧縮、バックグラウンド結果の直接配信）は、それぞれ慎重な評価を要した。例えば、プロンプト圧縮は当初逆効果で、エージェントが並列ではなく順次実行される原因となった。回帰テストの追加と指示の簡素化を経て初めて安全になり、1ターンあたり約1,300トークンの節約が実現した。

より広い教訓は、効率改善は実行される特定のワークフローで測定されなければならないということだ。コードレビューに有効な変更がCLI利用には悪影響を及ぼすこともあり得る。GitHubはまた、行番号の削除と出力圧縮により、レビューごとのプロンプトトークンがそれぞれ約5%削減され、品質の低下もなかったと報告。状況に応じた検証の重要性を強調している。