embeddinggemma-2検証、画像→文章検索は精度に課題

EmbeddingGemma 2は、Google DeepMindが公開したオープンなマルチモーダルEmbeddingモデルで、Text・Image・Video・Audioを比較可能な同一の768次元空間へ写す点が特徴である。従来は文章・画像・音声それぞれに別モデル・別空間を使うことが多かったが、本モデルではcosine similarityだけで異なるメディア同士を比較できる。ライセンスはApache 2.0で、Hugging Faceで公開されている。

今回の検証では、日本語の「猫の写真」というQueryで猫について説明した文章と実際の猫画像が1位・2位になり、「コーヒーを飲みたい」でもコーヒーについての文章とcoffee画像が上位に入った。ロケットの例でも宇宙開発の文章とrocket画像が上位を占め、テキストから画像への検索は分かりやすく動作した。

一方、猫画像をQueryにした場合はQueryと同じ画像を除くとcoffee画像、camera画像、猫についての文章の順となり、正解文章は4位にとどまった。「人が話している音声」というQueryでも、音声データそのものは上位7件に入らなかった。Queryのモダリティ、検索対象のモダリティ、Queryの長さ、画像の内容、文章の抽象度、データセットによって難易度が変わるため、共通空間だから何でも高精度に検索できると理解するのは危険だとみられる。

実用面では、EmbeddingGemma 2は文章を生成せず、検索・類似度計算・クラスタリング・分類・RAG・推薦などを可能にする。研究室のPDF、講義スライド、写真、実験動画、講演音声を横断検索するCross-media RAGへの応用が考えられるが、その成否は用途ごとの検索精度の検証にかかっている。