CNN：AIのハルシネーションで中国船への作戦中止

この危機一髪の事例は、米軍が意思決定の迅速化と中国に対する優位維持のためAI統合を急ぐ中で起きた。国防総省はAIがキルチェーンを加速し、司令官が適時に応答できる大きな優位をもたらすと説明してきた。AIを魅力的にするその速度は、人間の監視が不十分なままハルシネーションを許す可能性もあり、それが今回の事例が露呈した緊張関係だ。

CNNによると、虚偽の情報は特殊作戦司令部の分析官がチャットボットに公開情報と機密のシギントの統合を指示したことに端を発する。チャットボットは船の積荷目録を誤認し、分析官はさらにツールを使い、誤った所見を公式風の要約に整形。指揮系統全体に流布した。報告は船が核兵器計画の部品を輸送中とし、イラン戦争中に流布した。

GovAIのリサーチスカラーで米陸軍退役将校のJake Steckler氏はTechCrunchに、軍人はLLMに固有の不確実性を理解する必要があり、特に標的選定、情報分析、作戦計画など武力行使につながり得る決定では重要だと語った。同氏は、インシデントはツールを避ける理由ではなくセーフガードを追加する理由だと主張。しかし、導入速度を最優先すれば軍人の信頼が損なわれ導入が遅れるだけだと警告した。ゆえに焦点は、導入に追いつく速さでセーフガードを追加できるかどうかにかかっており、今回の事例はその問いを未解決のまま残している。