AI中継APIの評価4観点を公開

Folkbenchの出発点は、AI中継がもはや単なるチャットのフロントエンドではないという認識だ。中継はコーディングクライアントとモデル提供者の間に立ち、ストリームを再構成しコンテキストをスケジュールするアプリケーション層プロキシとして機能する。用途はIDEの1行補完から、Claude Code CLIやOpenAI Codex CLIといったターミナルエージェント、さらに仕様駆動開発へと移ってきた。

4つの基準は、一般的なネットワーク指標ではなく失敗モードとして提示されている。エスケープは、中継がチャンクのエスケープを解除したり再エンコードしたりすると壊れ、マルチバイトUTF-8文字が切れて解析できないコードが届く。ツール呼び出しは、path、old_str、new_strといったフィールドを持つ構造化JSONが誤ってシリアライズされたり、assistantのtool_useとuserのtool_resultメッセージがターンをまたいで連鎖しなかったりすると壊れる。長いコンテキストは、cache_controlが削除されて再プリフィルが強制されたり、RAGのトリミングやモデル差し替えでモデルが実際に見るリポジトリが縮んだりすると壊れる。出力は、バッファやタイムアウトで長いモジュールが途中で切れると壊れる。

ガイドはまた、中規模から大規模のコードベースのコンテキストは100k〜200kトークンになりがちだと指摘し、だからこそキャッシュのパススルーと150kトークンのニードルテストを例外的なケースではなく中核的なチェックとして扱っている。Folkbenchによれば、個々の中継のP95レイテンシ、可用性、トークン単価は同社サイトで登録なしに比較できるという。