NüshuRescueが消えた文字を学習

女書は4世紀前、湖南のヤオ族の女性たちが秘密文字として生み出したが、女性が正式な教育を受ける機会を得た1900年代に使用が減り、多くの文書が失われたり破壊されたりした。今世紀に入ってから、中国はこの文字を絶滅から救う取り組みを続けてきた。Yang氏の研究はその長い流れの中に位置する。彼女は子供の頃に祖母から女書のいくつかの単語を学び、今はAIをこの問題に応用している。プロジェクトは、専門家が検証した最も包括的なスキャン文字とその中国語訳の集成である『中国女書大全』から始まった。そこからチームは計算言語学の訓練を受けた注釈者と協力し、新たにマッピングされた単語を含む500組のデジタル化文対を作成した。

Dartmouthの研究は、既存の言語技術が過小代表言語をどう扱うかという広範な検証と並んでいる。Association for Computational LinguisticsのNations of the Americas Chapter会議で発表予定のYang氏の最近の論文は、GoogleのLangIDがほとんどの先住民族言語をサポートしておらず、Navajoの文を無関係な言語と誤判定することを発見した。別途、言語学教授のRolando Coto Solano氏は、何百時間もの録音の文字起こしを終える前に自分は死ぬかもしれないという同僚の発言に動機づけられ、Cook Islands Māori、Bribri、Cabécarの自動音声認識モデルを構築した。

Vosoughi氏は、これらのモデルが支配的文化のバイアスを帯び、文化的アイデンティティを歪めたり単純化しすぎたりする可能性があると警告しており、その成否は協働にかかっている。同氏は、言語の真正性には母語話者と言語学者の積極的な参加が不可欠であり、AIとコミュニティの専門知識の両方が基本だと主張する。NüshuRescueの低データ手法が他の低資源言語に拡張できるかどうかは、モデル単体ではなく、コミュニティがその取り組みをどれだけ密接に形作るかにかかっているかもしれない。