AnthropicバッチAPI、トークン費用50%オフ

この記事は、よくあるエンジニアリングの悩みを軸にしている。何万件ものClaude Sonnet呼び出しを同期のforループで回し、ジョブが終わる前に月額換算の請求額が膨らむのを眺めるというものだ。筆者は、非対話型の作業にリアルタイムAPIを使い続けるのは純粋な無駄だと主張する。

Batches APIはこれを解決する。カスタムID付きのリクエスト配列を受け取り、非同期で処理し、すべてをメモリに載せずに1件ずつ扱えるストリームとして結果を返す。実装手順は3つの中核的な変更として示される。createに配列を渡す、ステータスが「ended」になるまでポーリングする、結果をAsyncIterableとして消費する、の3点だ。

鍵となるのは、どのワークロードが本当に即時応答を必要とするかをチームが正しく見極められるかどうかだ。チャット、ライブAPI応答、その他のリアルタイム機能はこの経路を使えない。一括分類、要約、翻訳、データエンリッチメント、夜間の評価レポートといったワークフローでは、トークン価格が半額になることで、これまで高コストだったジョブが手頃になるかもしれない。実務上の主な制約は、通常1時間・最大24時間というターンアラウンドで、夜間やCI連携のジョブのスケジューリングに影響しうる。