
何が起きたか
Qolca が AI 製品におけるトークン効率に関するガイドを発表し、すべてのルール、例、知識を含む巨大なシステムプロンプトを毎回のリクエストで最も高価なモデルに送信する標準的な慣行が、コストと遅延の両方を無駄にしていると主張した。同社の本番 AI 営業アシスタントは代わりに 4 段階パイプラインを採用している:2 つの安価な並列分類器(言語検出、意図分類)、条件付きコンテキスト要約(会話が長い場合のみ)、および精選されたコンテキストを持つ高価なモデルでの最終応答生成。
なぜ重要か
フロンティアティアのモデルへの入力トークンコストは数ドル/百万トークン程度であり、すべてのトークンがリクエストのたびに再請求される。4,000 トークンのシステムプロンプトが 10 ターンの会話で再読み込みされると、同じ指示の繰り返しだけで 40,000 トークンのコストが発生する。すべての会話と日数を通じて、この無駄は製品の成功に比例して拡大する。遅延も製品特性である。より大きなプロンプトは、モデルが最初のトークンを出力する前により多くのコンテキストを処理することを強制し、チャットボットをユーザーにとって遅く感じさせる。遅い応答や高い請求を理由に挙げるチームは、多くの場合、ベンダー問題ではなくアーキテクチャ問題を抱えている。
注目点
ガイドは既存プロンプトの具体的な改装シーケンスを推奨している:まず凍結された部分に対してプリフィックスキャッシングを有効にする(通常の入力価格の約 10 分の 1 で請求される)、次に知識ベースのような大規模な静的ブロックをレトリーバルベースのスライスに分離し、安価な分類決定を個別の小規模モデル呼び出しに分割し、分類または抽出をフロンティアモデルから廉価の代替品にダウングレードする。最終生成ステップのみ高価なモデルに留まるべきであり、その際は実際に必要な精選されたコンテキストのみを伴う。
こういう要約が、毎朝あなたのメールに届きます。
この記事は AI 製品に蔓延するアーキテクチャアンチパターン、つまり一体型プロンプトを特定している。チームは包括的なシステムプロンプトを構築してすべてのルール、例、企業の知識を詰め込み、その後そのコンテキスト全体を毎回のリクエストで最も高価なモデルに送信する。本能的には廉価なベンダーを見つけることで最適化しようとするが、記事はこれが問題を誤診していると主張している。真の問題は、トークンを無料またはほぼ無料のリソースとして扱うことであり、実際にはメータリングされた高価なリソースである。
経済的な理由は明白である:4,000 トークンのプロンプトが 10 ターンの会話を通じて再読み込みされると、静的な指示を繰り返すだけで 40,000 トークンのコストが発生する。数ドル/百万入力トークンで、リクエストあたりのコストはわずかに見えるが、すべてのユーザーとすべての日数にわたって掛け合わされると、その無駄は製品自体の成功に比例して拡大する。遅延コストも同様に実在するが、あまり明白ではない。モデルはプロンプト全体を読むまで最初のトークンを出力できないため、肥大化したプロンプトは、ユーザーが画面に何かを見る前に、モデルが数千トークンを処理することを強制する。記事はこれを同じ過ちに対して 2 回支払う:ドルで 1 回、秒で 1 回と説明している。
Qolca は、"モデルが可能性として必要とするかもしれないもの"から"このステップが実際に必要とするもの"へと心の持ち方をシフトさせる 5 つのパターンを提案している。複雑なリクエストを個別のステップ(言語検出、意図分類、コンテキスト検索、応答生成)に分解することにより、各ステップはその必要なコンテキストのみを保持することができる。レトリーバルはコンテキスト詰め込みに取って代わり、知識ベース全体ではなく 2~3 の関連する段落を引き込む。プリフィックスキャッシングは静的コンテンツを通常価格の約 10 分の 1 で請求する。廉価なモデルは分類とルーティング決定を処理する。高価なモデルは本当にフロンティアレベルの流暢性が必要な 1 つのステップのために予約されている。同社の本番アシスタントは、2 つの並列安価分類器、オプションの条件付きサマリ、応答用の単一の高価な呼び出し、およびルーティング用の決定論的コードで、コストと遅延の一部で同じユーザー体験を実現することで、これを例証している。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る
Microsoft Ignite 2026でマイクロソフトは赤・青・緑チームのエージェントを組み合わせ攻撃模擬・検知調査・脆弱性修正を行うMicrosoft Perceptionの一般提供を発表した

Microsoft Ignite 2026でWindows Server 2028のパブリックプレビューが公開され、Microsoft Foundry、Windows ML、vLLM、Llama.cppによるAI推論ホス…

AUMOVIOはDatabricks Unity GatewayをLLMへの唯一の経路に採用

CADMAGEDDONはBenchCADの64³ボクセルIoUで、1000部品のサブセットにおいて0.991を記録し、Claude Sonnet 5.5の0.963、Claude Opus 5.5の0.962、GPT-6…

MIT Technology ReviewのAI誇大広告指数はAIの広がりを示し、GoogleのAI Overviewsが広告収入で数十億ドルを失わせたことやAI支援のサイバー攻撃を挙げた

哲学者トーマス・ナゲル氏はバーグルエン賞受賞後のインタビューで、大規模言語モデルが意識を持つ可能性を真剣に受け止めるのは「馬鹿げている」と述べ、AnthropicのClaudeへのアプローチを「犯罪的」と呼んだ
