AI開発の要諦はハーネス整備にあり

コーディングエージェントをより活用する2つの方法に線を引く。より良いプロンプトでモデルを誘導するか、モデルが働く環境を変えるかだ。2025年5月以降コードエディタを開いておらず、現在は自然言語で作業し、プルリクエストやドキュメントを組織の基準に照らして判断しているというLopopolo氏は、後者が持続可能な道だと主張する。同氏は「シフトレフト」を勧める。介入をより早い段階へ、リポジトリのドキュメント、リンター、テスト、評価へと移すことで、基準を個々のリクエストではなく環境に宿らせるのだ。

この論理は、カスタムハーネスを作り込みすぎないようGoogleが助言する理由も説明する。標準的なハーネスにはファイル読み取り、grep検索、コマンド実行といったプリミティブがすでに搭載されている。だから労力はツールとコンテキストの品質に振り向ける方がよく、それは新しいモデルが登場しても有用であり続ける。Lopopolo氏はさらに、半年前にモデルが失敗したタスクも今なら手が届くかもしれず、モデル固有の手順を固定するのは危険な賭けになると付け加える。

デモはそれを実践に移している。Jacobson氏の閉ループハーネスは、失敗したテストのログとスタックトレースをエージェントのワーキングメモリに戻し、テストが通るまで繰り返す。無限ループと実行コストの増大を避けるため、反復は5回までに制限する。GoogleのSumita Kauran氏は、重い推論モデルが常に必要とは限らないと論じ、モデル、ハーネス、知識層の間のバランスを指摘する。100以上のドメインパッケージを収めるGoogle Skillsリポジトリを、必要な時に正確なコンテキストを注入する例として挙げた。