AppleがAI視覚概念推論テストVICIS開発

Apple研究者Nick Stracke、Kolja Bauer、Josh Susskind、Miguel Angel Bautista Martin、Björn Ommerは、ビジョン言語モデルの特定の弱点に対処するための新しい評価タスクとソリューションアプローチを発表した。Visual Concept Inference from Sets（VICIS）と呼ばれるこのタスクは、すべて同じ視覚概念を共有する少数の画像セットと別の照会画像が与えられたとき、モデルが例セットで定義された概念を保持しながら照会画像と一貫性のある新しい画像を生成する方法で機能する。例えば、同じオブジェクトを水彩スタイルでレンダリングした複数の画像を示された場合、モデルはそのような水彩処理を新しいオブジェクトに適用できるべきである。

研究者がこのタスクについて現在の最先端のビジョン言語モデルをテストしたところ、これらのモデルが顕著に困難を抱えていることが判明した。モデルは例の画像で提供される視覚的文脈を完全に無視するか、バイアスのかかったデフォルト出力に頼る傾向にある。これは、テキスト指示の追従において高度な能力を持つにもかかわらず、これらのモデルが純粋に視覚的な例から共有される視覚概念を推論し、それを新しいシナリオに応用する能力が限定的であることを明らかにしている。

このギャップを埋めるため、研究者は画像セットから視覚概念を学習し、照会画像から概念固有の埋め込みを抽出するために特別に設計された学習フレームワークと新しいアーキテクチャを開発した。彼らはImageNetおよびWordNetから取得した合成データと大規模な実世界データセットの両方でアプローチを評価した。結果は、彼らのモデルが既存のアプローチと比較して、より正確で多様な出力を生成することを示している。重要なことに、学習中に遭遇しなかった未見の概念、および、スケッチベースのインプットなどの異なるモダリティへの一般化性能も優れており、学習された表現が特定の例を暗記するのではなく、抽象的なレベルで視覚概念をキャプチャしていることを示唆している。

ビジョン言語モデルは複雑なテキスト指示に従うことができるため、現代のAIアプリケーションの中心となっている。しかし、テキストベースの推論におけるこの強さは、純粋に視覚的な例から推論する能力という根本的な弱さを隠している。VICISタスクはこのギャップに直接対処している。言語的な説明に依存するのではなく、モデルは複数の画像例にわたる視覚的パターンを観察し、統一的な概念を抽出してから、それを一貫して新しい画像生成に応用する必要がある。

現在の最先端モデルのVICISでの低い性能は、例からの視覚概念学習がスケーリングや指示追従能力の創発的特性ではないことを明らかにしている。モデルは視覚的な例をテキストのバイアスに優先させる形で軽視するか、提供された文脈との一貫性を欠いた出力を生成している。これは、今日のビジョン言語モデルのアーキテクチャと学習ダイナミクスが、このタイプの視覚推論に適切でないことを示唆しており、研究者は新しい学習フレームワークとアーキテクチャ設計を通じてこの課題に対処している。

まだコメントがありません。最初のコメントを投稿しましょう！