AIモデル、視覚知覚ベンチマークで60%超達成できず

中国のAIアシスタント「Kimi」の開発者であるMoonshot AIは、新しいベンチマーク「PerceptionBench」を導入しました。これは、推論と知識から独立してマルチモーダル言語モデルの視覚知覚能力を分離および測定するように設計されています。ベンチマークは17,000を超える検証済み質問の内部プールから引き出された3,000の公開タスクで構成されています。60%は実際の属性付きモデルエラーから導出されたもので、40%は拡張画像を使用して再編成されたものです。知覚、知識、推論を単一の評価に詰め込む標準的な評価とは異なり、PerceptionBenchのすべての質問は画像を見るだけで答えられ、推論や外部知識は必要ありません。

著者らは42の既存オープンソース知覚ベンチマークを分析してベンチマークを構築し、エラープロファイルではほとんどオーバーラップがないことを発見しました。各ベンチマークは視覚的弱点の異なるサブセットをカバーしています。理論からカテゴリーを課すのではなく、チームは実際のモデルエラーからそれらを抽出し、各失敗を既存ベンチマークの最初の失敗ステップまでさかのぼりました。これは10個の「スキルドメイン」を生み出しました：Visual Relation、Counting、Attributes、Depth & 3D、Localization、Comparison、Fine-grained Recognition、Context Integration、OCR、Hallucination。タスク自体は表面的には欺瞞的に単純に見えます。時計の顔に記号がどこに座るかを把握したり、赤いボックスの中の花を数えたり、2つの鉛筆カップを区別します（グレーピンク組み合わせを示すものと、漫画のデザイン付き単色ピンクを示すもの）。

PerceptionBenchが16の最先端モデルでテストされたとき、どのモデルも60%の精度に達しませんでした。GPT-5.6 Solがトップで59.7%、次にKimi K3が58.5%、Claude Fable 5が57.2%、Gemini 3.1 Proが56.2%、GPT-5.5が55.8%でした。オープンソースモデルは大幅に遅れました。Qwen3.5-397B-A17Bは47.5%、GLM-4.6Vは32.5%でした。トップ5システムの間の差は4パーセントポイント弱です。しかし、カテゴリーレベルの結果はより複雑な図を明かします。全体スコアがほぼ同じモデルでも、個別スキルで大きく異なります。テストされたすべてのモデル全体で、「幻覚」は最も弱いドメインです。オブジェクトが存在しないことを認識し、「ゼロ」と答える能力です。全体的にリードしているGPT-5.6 Solさえも幻覚で26.9%しかスコアしていません。一方、全体的なパフォーマーが弱いGemini 3.5 Flashは、同じタスクで50.6%でトップレベルにランクされています。

著者らは、マルチモーダルモデルで「推論エラー」に起因する失敗の多くが実は知覚段階に由来すると主張しています。モデルが複数ステップタスクで失敗すると、最初のステップ（画像を正確に読むこと）は既に失敗しています。PerceptionBenchは、どの特定の視覚能力が失敗しているかを分離して特定することを可能にします。データセットと評価コードはGitHubで公開されています。この作業はより広い研究努力の一部です。同じチームは以前、WorldVQAをリリースしました。これはオブジェクト認識を推論から分離するベンチマークで、Gemini 3 Proは47.4%を達成しました。50%未満です。すべてのモデルは自信を体系的に過大評価しました。Moonshot AIと中国機関を含む並行研究が行われたもう1つの研究は、BabyVisionベンチマークを使用して、最先端モデルが線のトレース、隠れたブロックの数え上げなど早期幼児発達に関連する基本的な視覚タスクで失敗することを示しました。Gemini 3 Proは49.7%を獲得し、ヒューマンは94.1%を達成しました。研究者らはこのギャップを、視覚情報が言語に翻訳され忠実性を失う音声化ボトルネックに起因するとしています。一方、Moonshot AIのオープンソースオファリングであるKimi K3は、一般的なベンチマークでClaude Fable 5およびGPT-5.6 Solへのギャップを数ポイント以内に閉じました。ただし、攻撃的なサイバーセキュリティや複雑な数学などの特化したエリアではまだ遅れています。PerceptionBenchで測定される視覚知覚では、K3は現在、西側のライバルと同等のパフォーマンスを発揮しています。