Jev求人票チェック、正解率97.8%を検証

この検証は特定のコンプライアンス上の必要性から生まれた。日本の介護職求人票は職業安定法により労働条件14項目の明示が求められ、開発者は各項目を「記載あり／曖昧／記載なし」に分類するチェッカーを作った。AIに別のAIを採点させるのではなく、開発者はサンプル求人30件（ハローワーク形式10件、民間求人サイト10件、意図的に破損させたもの10件）に手作業でラベルを付け、最も深刻な誤りの種類を別に扱った。この用途では、記載があるのに「記載なし」と返すのが最も高くつく誤りだからだ。

他の実務的な知見は、こうしたモデルを実際のパイプラインにどう組み込むかを示している。Jevは信頼度が閾値を下回ると判断を保留し、較正された信頼度の挙動は州ごとに異なるため、カットオフは州別に設定して設定ファイルで公開し、運用担当者が調整できるようにした。本番ではさらにモデル版を固定し、1回あたりの呼び出し回数に上限を設けた。版管理されていない第三者のモデルが予告なく挙動を変えうるという懸念の表れだ。

より広い傾向は2つ目のプロジェクトから見えてくる。イベント告知の分類では、Jevは文章が大会案内かどうかは信頼性高く判定できたが、新規イベントと別名や移転したイベントの区別はできなかった。過去の台帳との照合が必要だからだ。判断特化AIは、単一文書で決まる狭い検査に向き、外部記録が必要なものはルールベースのシステムと人間のレビューが担うのが適切だと考えられる。