macOSの権限不足でエージェントが無言で失敗

画面を操作するエージェントが必要とする2つの権限の違いを整理している。アクセシビリティは他のアプリのUIツリーを読み取り、合成したマウスとキーボードのイベントを送ることを可能にする。これがないとアクセシビリティAPIの呼び出しはkAXErrorAPIDisabled（-25211）で失敗し、CGEventPostで送られたイベントはエラーを出さずに破棄される。画面収録は他のアプリのピクセルをキャプチャすることを可能にし、記事はより気づきにくい損失にも触れている。CGWindowListCopyWindowInfoのkCGWindowNameによる他のアプリのウインドウタイトルも取得できなくなるため、スクリーンショットを1枚も撮らずとも名前によるウインドウ検索が失敗する。

権限がどこに付与されるかが最も時間を食う点だと説明されている。macOSは要求を「責任のある」アプリに帰属させ、コマンドラインツールの場合それはバイナリ自身ではなく通常それを起動したGUIアプリになる。Auten自身の事例は示唆に富む。同社はあらゆるMCPクライアントに実画面を操作する「手」を提供するMCPサーバーを手がけ、Mac、Windows、Linuxに加えAndroidスマホもベータで対応し、権限設定を順に案内するmacOSインストーラと、何が接続され何が欠けているかを表示するauten statusコマンドを備える。無言の権限エラーこそ、同社自身が最初につまずいた点だったという。