AIToday
大規模言語モデルQiita 機械学習掲載日時: 2026年11月18日 10:01

BM25検証でBPEと形態素解析の検索スコアに差

LINEで送る
BM25検証でBPEと形態素解析の検索スコアに差

3つのポイント

  1. 何が起きたか

    著者のBM25検証で、クエリ「形態素解析」は無関係な文書に対しBPEでは2.2391、形態素解析では0.0000となった。形態素解析は語を正しく分割した。

  2. なぜ重要か

    無関係な文書での2.2391というスコアはBPEの部分一致がノイズを拾い得ることを示し、0.0000は形態素解析がこのクエリでそのノイズを避けることを示す。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

LLMと検索システムがテキストをどう分割するかを比較した個人実験。LLMは頻出文字ペアを統合するBPEを使い、検索エンジンは通常、辞書に基づく形態素解析を使うという観察から始まる。著者は3つのクエリパターンで両方のトークン化手法を用いたBM25キーワード検索を実行する。結果はトレードオフを示す。BPEは未知語やスペースの揺れに柔軟に対応するが、部分一致によって無関係な文書のスコアを膨らませることがある。形態素解析は語が辞書にあればそうしたノイズを避けられるが、「Llama Index」のようにスペースが入った表記揺れを見逃すことがある。著者は、検索にBPEトークンを使うと精度が下がりインデックスが大きくなる可能性があり、取得したテキストをLLMに渡すRAGパイプラインで重要だと結論づけている。

よくある質問
BPEとは何か?
BPE(Byte Pair Encoding)は、頻繁に共起する文字ペアを統合するトークン化手法で、GPTやClaude、LlamaなどのLLMで使われている。
なぜ検索にBPEトークンを使わないのか?
BPEは単語をサブワード単位に分割するため無関係な文書にも一致し得る。BM25検証では「形」「態」「素」などでの部分一致が示された。
形態素解析とは何か?
形態素解析は辞書と文法に基づいてテキストを意味のある単語に分割する手法で、MeCabやJanomeなどのツールを使う。
Qiita 機械学習元記事を読む
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

マイクロソフトがAIエージェントで攻撃対抗サービス提供開始

Microsoft Ignite 2026でマイクロソフトは赤・青・緑チームのエージェントを組み合わせ攻撃模擬・検知調査・脆弱性修正を行うMicrosoft Perceptionの一般提供を発表した

NEWPublickey2時間前

Windows Server 2028がパブリックプレビュー公開

Microsoft Ignite 2026でWindows Server 2028のパブリックプレビューが公開され、Microsoft Foundry、Windows ML、vLLM、Llama.cppによるAI推論ホス…

NEWPublickey2時間前

AUMOVIOがLLMの唯一の経路をDatabricksに統一

AUMOVIOはDatabricks Unity GatewayをLLMへの唯一の経路に採用

NEWDatabricks AI Blog2時間前

CADMAGEDDON、5ベンチマークで最先端CADモデル超え

CADMAGEDDONはBenchCADの64³ボクセルIoUで、1000部品のサブセットにおいて0.991を記録し、Claude Sonnet 5.5の0.963、Claude Opus 5.5の0.962、GPT-6…

NEWAI Weekly2時間前

MIT Technology ReviewのAI指数、AIは遍在

MIT Technology ReviewのAI誇大広告指数はAIの広がりを示し、GoogleのAI Overviewsが広告収入で数十億ドルを失わせたことやAI支援のサイバー攻撃を挙げた

NEWMIT Technology Review AI2時間前

Thomas Nagel、AI意識説を「馬鹿げている」と一蹴

哲学者トーマス・ナゲル氏はバーグルエン賞受賞後のインタビューで、大規模言語モデルが意識を持つ可能性を真剣に受け止めるのは「馬鹿げている」と述べ、AnthropicのClaudeへのアプローチを「犯罪的」と呼んだ

NEWWIRED AI2時間前
次の記事へLangChainがLangSmith Sandboxes発表