GitHub Copilotは品質を損なわずコスト効率が向上した。同社は不要な書式を削除し、反復出力を圧縮した。
テストではコストが数％削減された。
効率は単一のツール呼び出しではなく、タスク全体で測定すべきだ。
何が起きたか
GitHubがCopilotのコスト効率を高めるため、未使用の行番号の削除や反復出力の圧縮など4つの変更を実施したと発表。1つの変更でモデル推論コストがオフラインで約5％、オンラインで約3％削減された。
なぜ重要か
同社はツール呼び出しごとのトークン数に注目すると逆効果で総コストが増えることを発見。個々の呼び出しではなくタスク全体の最適化が効率と品質のバランスに不可欠だ。国内のAI開発企業は、品質を保ちながら推論コストを削減する手法を検討する可能性がある。
注目点
プロンプト圧縮などの他の変更では、1ターンあたり約1,300トークンを節約。GitHubは、あるワークフローでトークンを節約する変更が別のワークフローではコスト増につながる可能性があるため、各変更を想定環境で検証する必要があると指摘する。
GitHubの投稿は、ツール呼び出しではなく成果の最適化が鍵となるという原則を浮き彫りにしている。同社は、個々の応答を短縮すると、エージェントが出力を再読取したりコマンドを再実行したりする必要が生じ、余分な作業と高いコストを招くことを実証した。これは、シェル出力を短縮するユーティリティRTKがテストでトークン使用量を実際に増加させた事例で示された。
4つの変更（選択的出力圧縮、行番号プレフィックスの削除、メタプロンプティングによるプロンプト圧縮、バックグラウンド結果の直接配信）は、それぞれ慎重な評価を要した。例えば、プロンプト圧縮は当初逆効果で、エージェントが並列ではなく順次実行される原因となった。回帰テストの追加と指示の簡素化を経て初めて安全になり、1ターンあたり約1,300トークンの節約が実現した。
より広い教訓は、効率改善は実行される特定のワークフローで測定されなければならないということだ。コードレビューに有効な変更がCLI利用には悪影響を及ぼすこともあり得る。GitHubはまた、行番号の削除と出力圧縮により、レビューごとのプロンプトトークンがそれぞれ約5%削減され、品質の低下もなかったと報告。状況に応じた検証の重要性を強調している。
たとえば、いま届くならこの3本です
AIが要約して、あなたの選んだトピックだけを1日1通。LINE・Email・Slackで届きます。
登録無料・30秒で完了・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。Q&Aはこのページに公開され、他の読者も読めます。
マムダニ市長とサミュエルズ教育長官が、2-Kから中学8年生までの約60万人の児童・生徒を対象に、生成AIの利用を1年間停止すると発表
GitHubはAIコーディングエージェントCopilot向けに4つの効率化施策を公開した
ロシア人数学者らが創業したMostikが、AIモデル同士がテキスト出力を介さず、内部の数学的値を通じて直接やり取りできる技術を開発
トランプ政権は、ニューヨーク・タイムズ（NYT）によるオープンAIへの著作権訴訟で、AIトレーニングがフェアユースに当たるとの立場を示す「利害関係声明」を提出した
AmazonはAlexa for Shoppingを更新し、メールやテキストメッセージ、電話が本当にAmazonからのものかを確認できるようにした
OpenAIは、最先端のAIモデルAstraの公開を延期し、安全性プロトコルの強化を進めている
