GoogleがStreamVibe発表

StreamVibeは、研究者が既存の動画アシスタントに見いだしたギャップに対処する。既存のアシスタントは「お湯が沸いたら教えて」のような明確な指示向けに作られているため、口に出されない意図をほとんどくみ取れない。また、すでに完了したことを追跡するのが苦手で、同じ助言を繰り返したり応答が遅れたりし、ユーザーが途中で依頼を変えても元の指示に従い続けることが多い。

問題を測定するため、チームは日常生活やソフトウェアの記録183時間超から約4,100例のベンチマークをまとめた。Gemini 2.5 Flashが助けを差し出すべき時を提案し、4人の人間の評価者が各例を全会一致で承認した。その後の訓練では強化学習を用いてモデルをより控えめにし、頻繁に中断しないようにしたほか、保留中の依頼と完了したステップを追跡する別個の記憶システムを備えた。StreamVibe-VLは概してベースモデルや他のオープンソースモデルを大きく上回るが、Googleの独自モデルGemini 3.8 Flashはいくつかのテストでより高いスコアを出し、特化した訓練は一般的な動画理解を損なっていない。

研究者は、現実の状況はテスト環境より複雑だろうと認めている。この研究は、動画を積極的に分析するAIシステムに関するGoogleの広範な取り組みに沿うもので、9月のGemini向けエージェント型動画分析や、ロボット動画におけるより長い動作系列を追跡するGemini 4 Argonに続く。