Perplexityがハイブリッド推論システムを発表、ローカルコンピュートとクラウドモデルを自動振り分け

Perplexityがオーケストレーターを発表。コンピュータ上で動作するAIモデルと強力なクラウドモデルを組み合わせ、どのタスクをどこで処理するかを自動的に決定する。Intel と共同で導入され、Nvidia の RTX Spark などの他のハードウェアでも動作するモデル非依存フレームワーク（特定の AI モデルに限定されない設計）。

金融書類や健康情報といった機密データはローカルに保持され、計算集約的なタスク（大量の計算を必要とする処理）はクラウドモデルにルーティングされる。精度、プライバシー、エネルギー効率を同時に最適化することが目標。

このハイブリッド推論システムは 7 月より、3 月に導入された Personal Computer（常時稼働エージェント製品）に統合される予定。

Perplexity によると、ルーチンタスクをローカルデバイスにシフトすることで、集中型コンピューティングインフラの必要性を減らし、データ主権に関する問題を簡素化できる可能性がある。