アプリケーションコードを変更する必要はありますか？

いいえ。LLM-Shield-ProxyはOpenAI API仕様をネイティブに模倣しているため、SDKのbase_urlをhttps://api.openai.com/v1からhttp://localhost:8000/v1（またはプロキシのアドレス）に変更するだけです。プロキシがリクエストを傍受し、編集して上流に転送します。SDKの書き換えは不要です。

社内従業員IDのようなカスタムPII形式も検出できますか？

できます。custom_regex.yamlファイルにカスタム正規表現ルールを記述し、CUSTOM_REGEX_PATHで指定します。プロキシはgoogle-re2 C++エンジンで全パターンをコンパイルするため、正規表現の複雑さに関係なくO(N)実行時間とReDoS（正規表現サービス不能攻撃）への完全な耐性が保証されます。

ストリーミングレスポンスはサポートされていますか？

はい。このプロキシはServer-Sent Event（SSE）ストリームをデルタ単位でマイクロ秒レイテンシ（オーバーヘッド6マイクロ秒未満と報告）で編集・再構成するよう設計されています。これは全レスポンスをバッファリングしてからスキャンする従来のプロキシが抱える、UIレイテンシの数秒間停止という問題を解決します。

大規模言語モデルAI安全性・アラインメントオープンソースAIHacker News2026年8月19日2026年8月19日 22:005分で読める

LLM-Shield-Proxyが55MB RAMでPII外部送信を遮断

LINEで送る

要点

LLM-Shield-Proxyはオープンソースのリバースプロキシで、企業ネットワークから出る前にLLM APIリクエストからPIIとシークレットを編集し、SOC 2・HIPAA準拠を実現する。
リアルタイムチャットのレイテンシを壊さない。

3つのポイント

何が起きたか
大規模言語モデル向けのオープンソース・リバースプロキシが公開された。APIリクエストを傍受し、個人識別情報（PII）とシークレットを社内基盤から出る前に編集し、Server-Sent Event（SSE）レスポンスを低レイテンシで再構成する。このプロキシは企業のVPC内でローカルに動作し、標準モードでは60MB未満のRAMしか消費せず、コード変更なしでOpenAI互換APIに対応する。必要なのはSDKのbase_urlエンドポイントを変更するだけだ。
なぜ重要か
クラウドLLMプロバイダー（OpenAI、Anthropic、Google、DeepSeek、Mistral）を利用する企業はコンプライアンス上のジレンマに直面している。機密データを外部APIに送信することはSOC 2、HIPAA、GDPR違反となる一方、既存のローカルPII検出ツール（Microsoft Presidio、spaCy）は1GB超のRAMを消費し、リクエストごとに50〜150msのレイテンシを追加してリアルタイムチャットを壊してしまう。LLM-Shield-Proxyは決定的パターンマッチングと任意のニューラルエンティティ抽出（ONNX経由のBERT-NER）を完全にVPC内で実行し、機密のプロンプトとレスポンスを社内境界内に保持する。永続ストレージは不要だ。国内企業がクラウドLLM利用時に機密データを外部送信せずに遮蔽できる可能性がある。
注目点
このプロキシは2つの編集モードを提供する。デフォルトのSynthetic Swapping（PIIを現実的なプレースホルダー名に置換し、LLMのトークン効率を維持）と、監査証跡用のブラケット付きラベルを使うStructural Taggingだ。ReDoS耐性を持つre2 C++エンジンを採用したYAMLファイルによるカスタム正規表現の注入にも対応する。会話型エンティティ検出（F1再現率95%超）用の量子化ONNX NERモデルは、[ner]エクストラをインストールし、45〜65MBのRAMを追加すれば利用可能。ドメイン特化モデル（医療用BioBERT、契約用Legal-BERT）はONNX_MODEL_PATHを指定するだけで組み込める。

この記事についてAIに質問する →

こういう要約が、毎朝あなたのメールに届きます。

こうしたAIニュースを毎朝無料で受け取る LINEで友だち追加して受け取る

背景と解説

LLM-Shield-Proxyが解決する問題は、エンタープライズAI導入における根本的な緊張関係だ。外部LLMプロバイダー（OpenAI、Anthropic、Google、DeepSeek、Mistral）にリクエストを送信する組織は、マスクされていないPIIの外部送信を禁止するSOC 2、HIPAA、GDPRに準拠する必要がある。しかし、既存のローカルPII検出用オープンソースソリューション（主にMicrosoft PresidioとspaCy）は、メモリとレイテンシのペナルティ（1GB超のRAM、リクエストあたり50〜150ms）が重く、リアルタイムのストリーミングチャットインターフェースとは互換性がない。

LLM-Shield-Proxyは、企業のVPC内で完全に動作する3層検出アーキテクチャを採用することで、これを解決済みの問題に変える。第1層は正規表現で構造化PII（SSN、メールアドレス、IP/MACアドレス）と高エントロピーシークレット（APIキー、16進トークン）を決定的に検出する。第2層はシャノンエントロピー・スコアリングを適用し、統計的特徴のみから暗号トークンを特定する。会話型PII（自由テキストに埋め込まれた患者名、組織名）でより高い再現率が必要な組織向けに、第3層はONNXランタイム経由の量子化BERT-NERモデルをオプションで追加し、ベンチマークデータセットでF1再現率95%超、追加RAM 65MB未満を主張している。これはPresidioやspaCyのフットプリントの約10分の1だ。

アーキテクチャ上の革新は、このプロキシがコード変更不要、外部APIコール不要、永続ストレージ不要、サブマイクロ秒のレイテンシ・オーバーヘッドで動作するドロップイン・リバースプロキシである点だ。OpenAI APIスキーマをネイティブ実装しているため、OpenAIにリクエストを送信する既存アプリケーションはエンドポイントURLを変更するだけでよい。プロキシは透過的に傍受し、決定的に編集し、ストリーミングパケットを再合成し（現実的なプレースホルダー名またはブラケット付きタグを使用）、マスクされたペイロードを上流に転送する。この「ゼロ・エグレス」モデルは、機密のプロンプトとレスポンスを常に社内境界内に保持する。

よくある質問

アプリケーションコードを変更する必要はありますか？: いいえ。LLM-Shield-ProxyはOpenAI API仕様をネイティブに模倣しているため、SDKのbase_urlをhttps://api.openai.com/v1からhttp://localhost:8000/v1（またはプロキシのアドレス）に変更するだけです。プロキシがリクエストを傍受し、編集して上流に転送します。SDKの書き換えは不要です。
社内従業員IDのようなカスタムPII形式も検出できますか？: できます。custom_regex.yamlファイルにカスタム正規表現ルールを記述し、CUSTOM_REGEX_PATHで指定します。プロキシはgoogle-re2 C++エンジンで全パターンをコンパイルするため、正規表現の複雑さに関係なくO(N)実行時間とReDoS（正規表現サービス不能攻撃）への完全な耐性が保証されます。
ストリーミングレスポンスはサポートされていますか？: はい。このプロキシはServer-Sent Event（SSE）ストリームをデルタ単位でマイクロ秒レイテンシ（オーバーヘッド6マイクロ秒未満と報告）で編集・再構成するよう設計されています。これは全レスポンスをバッファリングしてからスキャンする従来のプロキシが抱える、UIレイテンシの数秒間停止という問題を解決します。

Hacker News元記事を読む

LINEで送る