TwelveLabs Marengo Embed 3.0がAmazon Bedrock Knowledge Basesに登場

AWSは動画や画像ファイルを、機械学習エンジニアだけでなく一般のビジネスチームにとっても検索可能なデータソースとして位置づけている。記事は従来の道のりを、文字起こし、フレーム抽出、埋め込みモデル、ベクトルデータベース、同期処理という別々のサービスの連鎖として説明する。TwelveLabs Marengo Embed 3.0をAmazon Bedrock Knowledge Bases内で提供することで、AWSはその連鎖がマネージドワークフローに置き換わると述べている。ウォークスルーでは2022年FIFAワールドカップ決勝の10分クリップを取り込み、「このサッカーの試合のPKシーンを見せて」といったクエリを実行する。上位の結果はPKが試みられた場面を特定する。

この例が重要なのは、システムが答える質問の種類を示しているからだ。キーワード一致ではなく、長い動画全体にわたる意味ベースの検索である。本文はまた、Marengo Embed 3.0が動画、音声、画像、テキストをコンパクトで保存効率の良い512次元のベクトル空間にエンコードすること、Managed MKBが視覚、テキスト、音声、オーディオの信号を捉える埋め込みを生成することにも言及している。コンソールでは音声と動画の分節化がいずれもデフォルト4秒で、検索の粒度を調整するチームにとって重要な詳細かもしれない。記事はこの機能を必要とする業種としてメディア、スポーツ分析、教育、セキュリティ、小売を挙げ、スポーツの例と防犯カメラの例を示している。

一部の読者にとっては提供地域が主な制約になり得る。記事が挙げるのは米国東部（バージニア北部）と米国西部（カリフォルニア北部）のみで、それ以外の地域のチームは待つか迂回する必要がある。追加リージョンの計画については言及がない。これがメディアを多用する組織の既定ツールになるかどうかは、マネージドパイプラインが個々の映像をどれだけうまく扱えるか、また取得ごとの料金が現在の手法と比べてどうかによるところが大きい。