AIがスマホ画面を操作するツール発表

Opposableの発表は、スマホを操作するAIエージェントがデモから日常利用へ移行できるかを問うものだ。製品はAndroidのアクセシビリティサービスと、iPhone向けのcompanion computerに依存し、視覚言語モデルがスクリーンショットを解釈してタップ位置を決める。同社自身の例が期待値を示す。単純なテーマ変更とタイマー設定に50秒・17回のツール呼び出し、事実検索に0.44ドルかかり、同社はこれをショーケースとして提示した。モデルが調整されていないタスクでは成功率が不安定で、逐次的な介助をしても失敗が残った。セキュリティモデルも未解決だ。エージェントに端末操作を許すトークンはパスワード相当と説明されている。Opposableのウェブサイトはスマホの雑用を任せる手段として売り込むが、同社の警告とデモは、人手より使うべき理由を結論づけられていない。