
Google の AI Overview が単語の綴りを誤って表示している。「Google」にはPが2つあると答え、「poop」には「r」が正確に1つあると述べ、「journalism」を「j-o-u-r-n-a-d-i-s-m」と綴るなどの事例が報告されている。
LLM(言語を理解・生成するAI)はトークンと呼ばれる単位(完全な単語、音節、または文字など)にテキストを分解して処理するため、人間のように「読む」のではなく、テキストを数値表現に変換して応答を導き出している。このトークンベースのアーキテクチャにより、スペリングの認識が根本的に限定される。
Googleは「単語内での数え方がLLMの既知の課題であり、この問題を修正するために取り組んでいる」とTechCrunchに述べた。研究者らは、言語モデルにとって「完璧なトークナイザー」が存在する可能性は低いと指摘している。
こういう要約が、毎朝あなたのメールに届きます。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る
次の記事へシスコ、OpenAI Codexで開発効率化