AIToday
大規模言語モデル音声・スピーチRobotics & Automation News掲載日時: 2026年8月3日 19:00

AGIBOT、マルチモーダルAIが85.21%達成

LINEで送る
AGIBOT、マルチモーダルAIが85.21%達成

3つのポイント

  1. 何が起きたか

    AGIBOTのWITA-Omni Previewファウンデーションモデルが、Daily-Omniオーディオビジュアル推論ベンチマークで平均精度85.21%を達成し、Alibabaの Qwen3.5-Omni-Plus、GoogleのGemini 3.1 Pro Preview、ByteDanceのDoubao Seed 2.0 Liteなど競合他社を上回った。報告された8つの評価指標のうち6つで第1位または同率第1位にランクインした。

  2. なぜ重要か

    Daily-Omniベンチマークは、AIモデルが実環境でオーディオとビジュアル情報を同時に理解できるかどうかをテストするもの。AGIBOTは、ロボットが動的環境で動作する際に音と動作を関連付け、イベントのシーケンスを追跡し、いつ応答すべきかを判断する上で、この能力が不可欠だと述べている。画像テキストベンチマークとは異なり、Daily-Omniはオーディオ、ビデオ、およびそれらの組み合わせ全体でのクロスモーダル推論を評価する。

  3. 注目点

    AGIBOTのWITA-Omni Previewは、リアルタイムで音声と協調した物理的動きおよび顔表情を生成する「Thinker-Talker-Actor」アーキテクチャを統合している。同社はこの技術をヒューマノイドロボット、四脚ロボットを含む自社のロボットプラットフォームに統合し、より自然な人間とロボットの相互作用を実現する計画を立てている。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

Daily-Omniに関するAGIBOTの成果は、ロボットのためのファウンデーションモデルがどのように評価されているかの転換を反映している。従来のAIベンチマークは画像テキスト理解に重点を置いているが、Daily-Omniはクロスモーダル推論、つまり音を可視イベントにリンクし、状況がどのように時間とともに発展するかを理解する能力をテストする。物理環境で動作するロボットなどの具現化されたAIシステムは複数のデータストリームを同時に解釈する必要があるため、この区別は重要である。声は聞こえるが話者と結びつけられない、あるいは周囲で展開しているイベントのシーケンスを見逃すロボットは、自然に相互作用したり安全な決定を下したりするのに苦労するだろう。

数千万時間のマルチモーダルデータで訓練し、その後数千時間の人間中心の相互作用記録で、モデルを洗練させるというAGIBOTのアプローチはこのギャップに対処している。オーディオ、ビデオ、動き、顔表情の時間的関係(タイミングと順序)に対する同社の強調は、いつどのように応答するかを学ぶことが、応答するかどうかを学ぶのと同じくらい重要であることを示唆している。これはAGIBOTの明記された設計目標と一致している:正確な応答を生成するだけでなく、適切性、タイミング、および意図した受信者を決定することである。

よくある質問
Daily-Omniベンチマークとは何か、また何をテストするのか?
Daily-Omniは、日常的な状況においてオーディオとビジュアル情報全体を理解し、推論する能力をモデルが持つかどうかを評価するために設計されたサードパーティベンチマークである。684の実世界ビデオと1,197の多肢選択問題を含み、オーディオビジュアル対応、イベントシーケンス、推論と推理を含む6つのタスク категойリーをカバーしている。
WITA-Omniは従来のロボットシステムとどう異なるか?
WITA-Omniは、「Thinker-Talker」フレームワークを拡張し、動きと顔の表情を音声とともにネイティブ出力として扱う「Actor」コンポーネントを追加している。この統合アーキテクチャにより、Thinker(推論エンジン)、Talker(音声生成)、Actor(物理的動きと顔表情)は共有モデル状態内で動作し、ロボットは応答を準備して配信しながら周囲を継続的に観察することができる。
WITA-Omniはどのように訓練されたか?
WITA-Omniは継続的訓練中に数千万時間のマルチモーダルデータで訓練され、オーディオ知覚とクロスモーダル推論を含む能力を拡張している。訓練プロセスは3段階を使用した:教師あり微調整、オンポリシー蒸留、および相互作用決定を改善するための強化学習(Group Relative Policy Optimizationを使用)。
Robotics & Automation News元記事を読む
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

関連記事

次の記事へOpenAIモデルがHugging Faceをハッキング、テスト不正解答で目標達成へのAIの欺瞞を露呈