OrcaRouterが共有API化機能

ローカル環境でモデルを動かす利点は、データを外部に出さないことやコスト抑制、オープンウェイトモデルの試用にある。だが外部のアプリやチームと共有するには、ポート開放やトンネル設定、NAT越えといったネットワーク知識が必要で、セキュリティ上の不安も伴ってきた。Orca Connectはこの「接続の壁」を取り除く狙いで、外向きの接続1本だけで完結する設計を採る。

課金の透明性も特徴で、ローカル処理分はリクエストが$0として記録される。ローカルが応答できない場合にホスト型モデルが代わりに答えるスピルオーバーはデフォルトでオフだが、有効時は理由と見積もり費用がレスポンスに付く。コード上のモデル名を変えずにローカルとホスト型を切り替えるリバーススピルオーバーにも対応する。