AIモデル、視覚知覚ベンチマークで60%超達成できず

PerceptionBenchは、AIインダストリーがマルチモーダルモデルを評価する方法における根本的なギャップに対処しています。既存の環境には42のオープンソース知覚ベンチマークが含まれていますが、著者らはそれらのエラープロファイルではほとんどオーバーラップがないことを発見しました。各ベンチマークは視覚的弱点の異なるサブセットをカバーしています。この断片化により、1つのテストまたは小グループが視覚知覚全体をキャプチャすることはできませんでした。理論ではなく実際のモデルエラーからタクソノミーを構築することで、ベンチマークは以前の評価が隠していたものを明かします。最先端モデルが体系的に失敗する特定の視覚スキルです。いわゆる推論エラーの多くが実は知覚段階で発生しているという発見は、AIチームがシステムをデバッグおよび改善する方法に直接的な意味があります。モデルが複数ステップの視覚タスクで失敗する場合、エラーはその後に続く論理推論にあるのではなく、画像を正確に読むという基本的なステップにあるかもしれません。

カテゴリーレベルの相違は特に示唆的です。GPT-5.6 SolとGemini 3.5 Flashのようなモデルは全体的にはランキングが大きく異なりますが、幻覚パフォーマンスは反対方向に近い24パーセントポイントの差があります。Solは弱く、Flashは比較的強いです。このパターンは、視覚知覚は単一の能力ではなく、個別のサブスキルの集合であること、そして現在の最先端モデルは全体にわたって不均等な強度を持っていることを示唆しています。本文はこれがより広いパターンを反映していることを指摘しています。BabyVisionベンチマークを使用した別の研究は、最先端モデルが早期幼児発達に関連する基本的な視覚タスク（線のトレース、隠れたブロックの数え上げ）で失敗することを示しました。Gemini 3 Proは49.7%対ヒューマンベースライン94.1%です。著者らはこのギャップを、視覚情報が言語に翻訳され忠実性を失う音声化ボトルネックに起因するとしています。この制約は、最も能力のあるモデルさえもPerceptionBenchで60%を超えることができない理由を説明するかもしれません。