GoogleのAI Overviewが基本的なスペリングエラーを繰り返す——「Google」の綴りで複数のPを数える

Google の AI Overview が単語の綴りを誤って表示している。「Google」にはPが2つあると答え、「poop」には「r」が正確に1つあると述べ、「journalism」を「j-o-u-r-n-a-d-i-s-m」と綴るなどの事例が報告されている。

LLM（言語を理解・生成するAI）はトークンと呼ばれる単位（完全な単語、音節、または文字など）にテキストを分解して処理するため、人間のように「読む」のではなく、テキストを数値表現に変換して応答を導き出している。このトークンベースのアーキテクチャにより、スペリングの認識が根本的に限定される。

Googleは「単語内での数え方がLLMの既知の課題であり、この問題を修正するために取り組んでいる」とTechCrunchに述べた。研究者らは、言語モデルにとって「完璧なトークナイザー」が存在する可能性は低いと指摘している。