FDA・CDC のAI利用が急増、医療監視の課題浮上

医療機関のAI導入は効率性とコスト削減の約束に駆られ、急速に加速している。だが適格性判定、事前承認、トリアージ、診断にまたがるデイプロイメント規模は、明確なガバナンス基準の発展を上回っている。記録される危害の程度は全体的なAI利用に比べて小さいが、最近の高リスク案件の失敗は、たとえ稀な誤りでも患者に危害を及ぼし権利を侵害できることを示している。

ルールベース・アルゴリズム（単純で監査可能、法的に異議を唱えやすい）から機械学習および生成AI システム（不透明、複雑、誤り易い）への移行は、ガバナンスの課題を深刻化させている。COVID-19 中の単一核酸球抗体配分に使われたような初期のルールベース・システムは透明な監査と法的責任を可能にしたが、より高度なシステムはその推論を隠蔽し、誤りの検出、追跡、意思決定者への責任追及を困難にする。事前承認拒否の誤り率が90%と疑われる UnitedHealth Group のケースと、複数州にまたがるメディケイド適格性判定の失敗は、大規模な自動意思決定が誤りが明らかになる前に広範な危害を与える可能性があることを実証している。

既存の連邦枠組みは、データ品質、モデルの適合性、プライバシー影響、市民的権利への影響を評価する「高影響度」AI評価を義務づけている。しかし、これらの枠組みはAIデプロイメントが進むことを前提とし、リスク軽減に焦点を当てており、閾値としての問いを欠いている―そもそもこの判定にAIを使用すべきか？記事は、機関が人的判断が非交渉的である場面をいつ判断するか、そして政府機能の本質―特に医療―がその意思決定プロセスにどのような要求を課すかを判定する原則的方法を欠いていることを論じている。