巨大プロンプトは分解してルーティング

要点

• ほとんどの AI 製品は、すべてのルール、例、知識を含む巨大なシステムプロンプトを毎回のリクエストで高価なモデルに送信しているため、過剰に支払い、不要な遅延を経験している。ソリューションはより廉価なベンダーを見つけることではなく、ワークフローを再設計することである：リクエストを個別のステップに分解し、プロンプトにすべてを詰め込む代わりに関連するコンテキストのみを検索し、静的部分をキャッシュし、安価なモデルを分類とルーティングに使用し、高価なモデルは本当に高度な推論が必要な 1 つのステップのために予約する。

• Qolca の本番営業アシスタントはこのアプローチを使用している。

• 2 つの安価な分類器が並列実行され、その後安価なオプションのサマリ、その後応答生成のための単一の高価な呼び出しであり、同じユーザー体験をコストと遅延の一部で実現している。

3つのポイント

背景と解説

よくある質問

入力トークンのコストはいくらで、再請求はいくらか？

フロンティアティアのモデルのコストは数ドル/百万入力トークン程度である。プロンプト内のすべてのトークンは毎回のリクエストで支払われるため、4,000 トークンのシステムプロンプトが 10 ターンの会話を通じて再読み込みされると、第 1 ターンで既に吸収された指示を再度述べるだけで 40,000 トークンのコストが発生する。

プリフィックスキャッシングとは何か、どの程度節約できるか？

プリフィックスキャッシングはプロンプトの静的な部分（ペルソナ、固いルール、フォーマット指示）を保存し、毎回ゼロから再処理されないようにする。キャッシュされた入力トークンは通常の入力価格の約 10 分の 1 で請求され、処理がより高速だが、キャッシュは静的コンテンツがプロンプトの最初に配置され、変動するコンテンツ（ユーザーメッセージ、タイムスタンプ、リクエストごとのデータ）が最後に配置されている場合にのみ機能する。

Qolca の本番営業アシスタントはどのステップで構成されているか？

4 つのステップで実行される：第 1 に、小規模で高速なモデル上の 2 つの安価な分類器が言語を検出し意図を分類する（パラレルで実行される小さな呼び出し）。第 2 に、コンテキスト要約ステップは会話が長い場合のみ安価なモデルで条件付きで実行される。第 3 に、高価なモデルが検出された言語、意図、コンパクトなコンテキスト、およびメッセージを使用して応答を生成する。第 4 に、5 番目のステップが決定論的コードを使用してどのモデルも使用せずにコールトゥアクションを決定する。