llmproxy、ローカルAIクライアントをNVIDIA クラウドAPIに接続するオープンソースプロキシ公開

llmproxyはFlaskを使用したPython製の軽量プロキシサーバーで、クライアントアプリケーションとNVIDIAのクラウドLLM APIの間に位置する。基本的な考え方はシンプルだ。Ollama、OpenAI、llama.cppが想定するHTTP リクエストを受け取り、integrate.api.nvidia.com/v1のNVIDIA OpenAI互換エンドポイントに変換して転送し、レスポンスをネイティブ形式でクライアントに返す。

プロキシはLLM操作の全機能に対応している。チャット完結文、テキスト完結文、埋め込みだ。ストリーミングレスポンスは、NVIDIAからのサーバー送信イベント（SSE）を集約し、期待される形式でクライアントにストリーミングバックすることで処理される。クライアントはプロキシのマルチモデル検出エンドポイントを通じて利用可能なモデルを検出でき、インバウンドリクエストはオプションの認証情報で認証できる。NVIDIAのAPIが一時エラーを返す場合、プロキシは諦める前に自動的にリクエストを再試行する。

レイテンシとAPI コストを削減するため、llmproxyは非ストリーミング応答のオプション応答キャッシュを含む。キャッシュTTL（生存時間）と最大サイズは設定可能で、チームはワークロードに応じて鮮度と効率のトレードオフを調整できる。ライブ統計エンドポイント（/stats）はメトリクスとプロセス情報を公開し、本番環境でのプロキシヘルス監視に有用だ。

デプロイメントはシンプルだ。ユーザーは.envファイルでNVIDIA APIキーを設定し、`docker compose up -d`でフルスタックを実行するか、`docker run -d -p 11434:11434 --env-file .env lordraw/llmproxy:latest`でDocker Hubのプリビルドイメージを起動する。リポジトリにはテストスイート（scripts/tests.sh、Bashで記述、オプションのターミナルUI付き）とMakefileによるビルドと Docker イメージのパブリッシュデプロイメント説明書が含まれている。プロジェクト全体はMITライセンスでリリースされており、自由な使用、修正、配布が許可されている。

llmproxyは実践的な課題に対処している。多くのAIツールとSDKはOllama、OpenAI、llama.cppプロトコルで記述されているが、チームは別の推論バックエンド（この場合はNVIDIAのクラウドAPI）を使用したいまたは使用する必要がある場合がある。クライアントコードをフォークまたは改写する代わり、プロキシが仲介役としてプロトコル変換器に位置し、クライアントのネイティブ形式でリクエストをインターセプトしてOpenAI形式でNVIDIAに変換する。これはローカル優先の開発ワークフローやOpen WebUIなどのネイティブにこれらのAPIに対応するツールに投資しているチームにとって特に価値がある。

このツールは実用的な機能も備えている。自動リトライは一時的なアップストリームの障害から保護し、応答キャッシングは同一クエリの冗長なAPI呼び出しを減らし、メトリクス可視性による コスト追跡でチームはNVIDIA支出を把握でき、インバウンド認証でプロキシの利用者を制限できる。Docker Hubのプリビルドイメージ（lordraw/llmproxy）としてリリースされ、Docker Compose設定が含まれていることで、本番デプロイメントへのハードルが下がり、Deep DevOps経験のないチームでもアクセス可能になっている。

まだコメントがありません。最初のコメントを投稿しましょう！