AIToday
画像生成オープンソースAIQiita 機械学習掲載日時: 2026年10月17日 19:01

OpenCLIP風APIのライブラリ公開

LINEで送る
OpenCLIP風APIのライブラリ公開

3つのポイント

  1. 何が起きたか

    開発者はopenclip-gemmaをPyPIで公開した。

  2. なぜ重要か

    使い慣れたOpenCLIP風APIを再利用でき、768次元ベクトルを生成できる。ただし非公式の個人プロジェクトであり、OpenCLIPの完全な代替ではない。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

このプロジェクトは個人的な不満から生まれた。開発者はCLIPを日常的に使っているが、特定のシーン検出向けに調整するのに苦労していた。EmbeddingGemma 2はCLIPと同様に画像とテキストを比較できるものの、設計思想が異なるため同じようには使えなかった。ラッパーはその隔たりを埋める試みであり、公式の前処理、トークナイザー、プロンプト、プーリング、正規化のロジックをそのまま保ちつつ、モデルの重みは同梱せず実行時にHugging Faceから取得する。

開発者によると、公式の推論経路との整合性は高い。Windows 11、Python 3.12、CPU FP32の環境で、最大絶対誤差は画像埋め込みが約2.74 × 10⁻⁷、テキスト埋め込みが2.81 × 10⁻⁶、画像とテキストの類似度が1.19 × 10⁻⁶だった。これらの数値は特定のモデルリビジョンとテスト環境におけるSentence Transformersの推論との比較であり、その環境での忠実性を示すもので、特定の分類や検索タスクでの精度を証明するものではない。リリース前の確認では、75件成功・9件スキップのpytestテスト、実モデルによるCPU統合テスト、GitHub ActionsによるCIとPyPIへの自動公開を実施した。

ライブラリの位置づけは限定的だ。v0.1.0はEmbeddingGemma 2のみに対応し、画像とテキストを扱う(動画や音声は非対応)。forward()やget_logits()などOpenCLIPの一部機能は省いている。開発者は利用状況に応じて対応プラットフォームの拡大とドキュメントの改善を計画しており、既存プロジェクトの商標に配慮して名称を変更する可能性があるとし、移行ガイドはGitHubで後日公開する予定だ。

よくある質問
openclip-gemmaはGoogleやOpenCLIPの公式プロジェクトですか?
いいえ。Google、Google DeepMind、OpenCLIPプロジェクトとの提携や承認はない非公式の個人プロジェクトだと開発者は明言している。
既存のOpenCLIPコードのドロップイン代替として使えますか?
いいえ。完全な互換実装ではなく、import文を差し替えるだけでは既存のOpenCLIPコードが動く保証はない。前処理やトークナイズ、プロンプトはモデルごとに異なるためだ。
これでモデルのファインチューニングや学習はできますか?
いいえ。推論専用のライブラリで、学習やファインチューニングには対応していない。
Qiita 機械学習元記事を読む
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

関連記事

次の記事へAgentsViewが60超のエージェントを自動検出