AWSのPII検出、81.6％

この検出器はファインチューニングにおける一般的な問題に対処する。トレーニングコーパスにはPIIが溢れており、未クレンジングのテキストで学習したモデルはそのデータを記憶し、後に再現しかねない。既製ツールは双方向トークン分類モデルで、PIIスキーマが固定され、1つのモデルと1つのデプロイに縛られる。新しいエンティティ型を追加するには再ラベリングと再トレーニングが必要だ。

LLMベースの手法は検出を「設定」として捉え直す。検出対象のエンティティ、出力形式、デプロイ先のバックエンドはすべてプロンプトか薄いインターフェース上にあり、1つの検出器が再トレーニングではなくプロンプトの編集だけで新しいエンティティ型に対応できる。SSN、金融、ID番号といった重要な識別子ではフロンティアモデルと同等以上（すべて95％超）を記録するが、DATEは約50％と共通の弱点として残る。

結論は、チームが固定スコープツールの簡便さよりもこの柔軟性を重視するかどうかにかかっている。ドメイン固有の識別子を検出する必要がある組織やセキュアな環境で運用する組織にとって、1行のプロンプト修正でエンティティ集合を変えられることは、わずかな精度差よりも重要かもしれない。