AIエージェント開発 待ち時間が律速

この記事は、GitHub Issueからプルリクエストを作るAIエージェントのパイプラインが実際に速くなったのかを確かめる、という素朴な目的から始まる。最初の試みは、Issue作成からクローズまでの時間を合計するというものだったが、その区間には検知・割り当て・実装・CI・レビュー・マージ・クローズが混ざるため失敗した。次に著者は、最初のコミットのタイムスタンプを使って待ちと実装を分けようとしたが、計測された実装時間の中央値は1分になった。このパイプラインは最後に一度だけコミットし、そのままプルリクエストを開くためだ。

PR後の期間を純粋な待ちとみなすのも誤りだった。多くのプルリクエストでは、最後のコミットがPR作成後に来ており、その間隔は数十分から3時間半に及んだ。レビューのフィードバックが新たなコミットを生むからだ。著者は、割り当て・実装完了・引き渡しを記録する外部の計測記録だけが区間を分離できると結論づけ、最初に直すべきはスケジューラの改善ではなく計測の追加だと述べる。

著者による待ち時間の4分類と、割り当てだけを行うディスパッチャおよび引き渡し時に解放されるワーカーという対応案は、同じ読み方を示している。制約はモデルの性能ではなくフロー管理にあるらしい。ただしこれは単一の運用環境に基づく話であり、手法の有用性は追加した計測点が実際に仕込まれるかどうかにかかっている。