Augment CodeがセマンティックコンテキストエンジンでClaude Codeに対抗

Augment CodeのVP of Engineering Vinay Perneti氏は、AIモデルと開発プロジェクトの間に位置し、モデルが何を見るか、どのように行動するかを制御する層であるハーネスの構築に対する同社のアプローチについて説明した。Augment CodeとClaude Codeなどの競合企業の間の中心的な違いは、現代的なLLMの限定されたトークンウィンドウ内でコードコンテキストをどのように処理するかにある。

Augment Codeはgrep ベースの検索の代わりにセマンティック検索を使用する。このシステムは埋め込みと検索モデルを使用してリポジトリを事前インデックス化し、インデックス付きデータを、サブミリ秒の検索が可能な高度に最適化されたバックエンドを備えたベクトルデータベースに保存する。開発者がエージェントにタスク完了を求めると、Augment Codeのシステムは概念的に関連するコード領域を取得し、エージェントに広く検索させることはしない。Perneti氏は、このアプローチはモデルが実際に遭遇したことがない大規模なプライベートコードベースで特に利点があることに言及した。ベンチマークデータセットを支配する公開オープンソースリポジトリでは、リポジトリ全体をモデルが暗記するのに十分な規模であるため、既にどこを見るべきか知っているため、検索ツールの利点は減少する。対照的にプライベートコードベースは未知の領域だ。リポジトリ全体に対するセマンティック理解により、結果に向かった反復の高速化が可能になる。

トークン効率について聞かれると——エンジニアリングリーダーのための成長している懸念——Perneti氏はAugment CodeのTerminal-Benchベンチマーク結果を指摘した。Claude Codeと同じモデルを実行すると、Augment Codeは同等の精度を達成しながらトークンを33%少なく使用し、セマンティックコンテキスト検索が探索での無駄なトークンを削減できることを実証した。しかしAnthropicのCat Wu氏はインタビュアーに、Claude Codeの評価は構造化コード検索ツールからの測定可能な利得を示さず、同社は軽量なハーネスアプローチを支持していると述べていた。Perneti氏はすべての検索システムが同等ではないと応答し、データベースの違いに例えた。検索エンジンの周囲にある特定のモデル、訓練、システムアーキテクチャが実質的に重要である。彼は、Augment Codeが2022年の創業から（ChatGPT前）18ヶ月を大規模コードベース専用に検索と埋め込みモデルの研究に費やし、その研究を検索モデル自体に組み込んでいることを強調した。

モデルが指数関数的に改善している中でインフラストラクチャに投資することが理にかなっているかどうかについて追い詰められると、Perneti氏は知能とコンテキストは別々であると主張した。モデルはより知能的になるが、それは自動的により良いコンテキストを提供しない。開発者はコンテキストを収集するためにトークンを消費できるが、本当の問題——エンジニアリングリーダーが尋ねている問題——はコストだ。トークン予算のどの程度がコンテキスト収集に対して生産的な出力に割り当てられるのか？ハーネス設計はこのバランスに影響を与える。彼はそれをシステムエンジニアリング問題として位置付けた。最適な結果を最低コストで達成するために、知能とコンテキストの間で努力を配分することだ。

ソフトウェア開発におけるAIについてのより広い開発者の懸念に対して、Perneti氏は2つの異議に対処した：信頼と技術的負債、およびコスト。彼はエージェント的ワークフローは手放しの手渡しであるべきではなく、むしろ人間のチームとエージェントのチームが協力する場合に最適に機能することを強調した。例えば、エージェントは仕様書の作成が下手だが、仕様書が整備されると、エージェントは実行に優れている。技術的負債に関しては、エージェントはコードを複製する傾向があることを認め、Augment Codeは仕様によって導かれた焦点を絞ったスプリントを通じてこれを処理することに言及した。エージェントは明確に定義された技術的負債削減タスクの実行に非常に優れている。コストに関して、彼はオープンソースモデルが改善するにつれて、トークン支出の割合はフロンティアモデルからルーチンコーディングタスク用のオープンソースモデルへシフトする可能性があり、一方フロンティアモデルは最も困難な問題に対処することを提案した。正しいモデルに作業をルーティングできるシステムは全体的なコストを大幅に削減できる。

この記事は、AIコーディング業界の2つのリーディングハーネスであるClaude Code（Anthropic）とAugment Codeが、AIモデルにコードコンテキストを供給するという課題にどのようにアプローチするかの根本的な相違を提示している。AnthropicのCat Wu氏が説明したClaude Codeは軽量なハーネス哲学を受け入れ、急速に改善するモデルが構造化コンテキストツール無しに自力で道を見つけることができるという確信に基づいている。この選択肢は、モデルの機能が非常に迅速に向上しており、独自のインフラストラクチャ構築は数ヶ月以内に陳腐化するリスクを伴うという確信を反映している。対照的にAugment Codeは、2022年の創業から18ヶ月にわたる研究を基盤とした事前インデックスとセマンティック検索インフラに多大な投資を行い、大規模なコードベース専に調整してきた。

Perneti氏の中心的主張は、知能とコンテキストは独立した次元であるということだ。より高性能なモデルは自動的にコンテキストの質を向上させるわけではなく、依然として必要な情報を収集するためのトークン予算が必要だ。彼はハーネス設計をシステムエンジニアリングの問題として位置付けている。両方の次元を最適化して、最低トークンコストで最高品質の結果を達成するにはどうするか、という問題だ。報告されたベンチマークにおける33%のトークン効率の向上はPerneti氏の主張に重みを与え、それは推論コストの直接的な削減につながる。しかし、Perneti氏もAnthropicの懐疑論を認めている。Anthropicは、自社の評価ではセマンティックコード検索ツールから測定可能な利得が得られないと報告し、軽量なハーネスアプローチを支持している。この不一致は、十分に最適化された検索システム（コードセマンティクス用に特別に訓練されたもの）が追加の複雑さとエンジニアリングの負担を正当化できるかどうかにかかっている。

まだコメントがありません。最初のコメントを投稿しましょう！