AppleがAI視覚概念推論テストVICIS開発

何が起きたか

Apple研究者が、AIのビジョン言語モデルが画像セットから共有される視覚概念を学習し、それを新たなインプットに応用できるかを評価するタスク「Visual Concept Inference from Sets（VICIS）」を発表した。研究者は、現在の最先端モデルがこのタスクで低い性能を示し、視覚的文脈を無視したり、バイアスのある出力を生成したりする傾向にあることを発見した。

なぜ重要か

ビジョン言語モデルは広く使用されているが、画像のみから推論する能力に乏しく、画像を通じて示された概念の変動を生成するようなタスクに必要とされている。本研究は、これらのモデルがテキストではなく視覚的文脈からどのように学習するかについて具体的な課題を明らかにしており、画像理解および生成のためのより高性能なAIシステムの開発に情報をもたらす可能性がある。

注目点

研究者は、このギャップに対処するための学習フレームワークとアーキテクチャを提案している。彼らのモデルは合成データおよび大規模なImageNet/WordNetデータセットでテストされ、出力の精度と多様性が向上し、スケッチなどの未見の概念およびモダリティへの一般化性能を示した。