AI調査の多段承認を廃しメモ先行へ

本稿は、ユーザーが投稿された情報について考察するWebサービスTruthHiveのため、非同期調査パイプラインを構築した際の事後検証記録である。当初の設計は教科書的なパターンに従っていた。起点となる主張から主張を抽出し、情報源の対応関係をマトリクスで管理し、複数のAI検証ゲートを実行し、親ハブがすべてを要約する。実際にはゲートは投稿がなぜ阻止されたか説明できず、支持判定は正しい文を根拠不十分として削除し、ヘッジ表現を除去するルールは未確認の事項を正直に開示するという機能の目的そのものを損なった。

著者は情報欠落の背景にある、より気づきにくい原因を特定する。実行ログを分析すると、主因はモデル性能ではなく複雑な中間段階そのものであり、要約や抽出の各パスが内容を少しずつ削っていた。代替パイプラインでは内容を書き換える段階をメモ作成、直接翻訳、要約執筆に限定し、新たに追加した段階は素材を変えないチェックとした。

他の決定も同じ方向を指す。信頼性バッジは情報源メタデータからコードの純粋関数で計算し、AIは日付や数値の不一致が実際に存在するかの判断など、意味判断が必要な箇所にのみ使う。情報源の番号付けは、異なる年の文書を誤って統合したため正規URL正規化を省略し、タスク連鎖が終わればセッションを予定作業なしとして明示的に閉じる。著者は修復ルールと上流の構造変更を別々に測定していないため、その比較を今後の課題として残している。