UK Home Officeに調査検討

調査の可能性は、Open Rights Groupによる6カ月の運動の後に浮上した。同団体は議会質問11件、大臣への書簡2通、公開記録請求10件を用いて、情報を開示してこなかった同省から詳細を引き出した。その調査結果は公式の試行評価に異を唱える。ACSの要約のうち使用に適さないとされた割合は、公表されている9％の誤り率を大幅に上回り、多くの場合その理由は事実誤認や虚偽の記載だった。またAPSの要約には品質管理が存在しない。

両ツールは、労働党政権が約100,000件の難民申請の滞貨を解消しようとした2024年末に導入された。同省はその後、6月までの1年間で初回判断を待つ人数を半減させたが、判断に対する不服申し立ては急増した。政府自身のAIプレイブックは、各省にアルゴリズムツールを公開リポジトリに掲載することを義務づけているが、この2つは掲載されていない。Public Law Projectは、政府全体で同様に掲載されていない高リスクAIシステムを11件見つけたとしている。

情報委員会はすでに、職員がツールをどう使い、どう訓練されたかをORGに伝えることを内務省が拒んだ件を調査中だ。ORGが委嘱した弁護士らは、誤ったAI要約に異議を唱えられないことは英国のデータ権利法に違反する可能性があると主張する。OpenAIは、モデルの精度向上に取り組んでおり、GPT-4を1月に廃止するとしている。