OpenAIのWeinstein氏、Computer Useは「180度変わった」

OpenAIのDevDay発表は、懐疑的な空気を背景に登場した。3カ月前、Dwarkesh Patel氏は、Computer Useがこれほど明確に検証可能であるのに、なぜ進歩がこれほど遅いのかと公に問いかけた。この問いは、ポッドキャスターの表現を借りれば、業界の多くの人を不快にさせた。Appleでコンピュータ自動化に携わり、後にSkyを創業してOpenAIに加わったAri Weinstein氏は、その懐疑への直接の答えとして位置づけられている。

Weinstein氏が語る変化は、単にモデルが良くなったということではない。同氏はComputer Useエージェントの動作方法の転換を指摘する。スクリーンショットを撮り、スクロールし、それを繰り返す代わりに、エージェントはJavaScriptを書いて実行し、多数の操作を一度に行い、タスクに応じてスクリーンショット、アクセシビリティデータ、DOM、Playwrightを使い分ける。DevDayでデモされた機能――独自のLinux仮想コンピュータを持つDots、平坦なスクリーンショットではなく豊富なメタデータを取得するアプリショット、Computer Useで7分の1のコストとなるGPT-6.1 Sol――は、こうした転換を開発者向けに製品化したものだ。

重要なのは、こうした成果がデモ環境から複雑で長期的なタスクへと移せるかどうかだ。Weinstein氏自身、高速なDecisions APIとより大規模なComputer Useモデルの組み合わせは未解決の研究課題だと指摘し、一部のベンチマークでは今や相当な割合の時間が、doordash.comのような第三者サイトの読み込みをただ待つことに費やされていると述べている。Computer Useが同氏の言う「文字通り超人的」な性能に到達するのか、それともこうした些細な障害で足踏みするのか。新しいAPI上で開発する人々が注視する未解決の問いだ。