← ブログに戻る
Ai読了目安 12 分

Vercel Labs、座標も視覚モデルも使わないデスクトップ操作CLIを公開

公開日 2026年11月11日
Vercel Labs、座標も視覚モデルも使わないデスクトップ操作CLIを公開

約2年間、「コンピュータを操作するAI」の定番デモは同じ形をしていた。スクリーンショットを撮り、モデルがボタンの位置を推測し、ピクセル(847, 412)を合成クリックし、何か起きたかを確かめるためにまたスクリーンショットを撮る。

動画を撮るには十分な頻度で動き、製品としては使えない頻度で失敗する。Vercel Labsが今週リリースしたCLIは、推測そのものを飛ばす。READMEの冒頭一行がそのまま主張になっている。OSのアクセシビリティツリーを通してデスクトップアプリを読み、操作する。

リポジトリは vercel-labs/agent-desktop、ライセンスは Apache-2.0。1日で約3800スター増えた。

refこそが発想

2005年ごろ以降のOSはどれも、画面に何があるかの構造化された記述を保持している。スクリーンリーダーが読むのはこれだ。ボタンがあり、ラベルが「Export」で、有効で、ダイアログの中にあり、そのダイアログが特定のウィンドウに属している、ということが分かる。

agent-desktopはそのツリーのスナップショットを取り、JSONで返す。エージェントが操作できる要素にはそれぞれ ref が付く。エージェントはrefに対して操作し、またスナップショットを取って何が変わったかを確認する。

それだけだ。座標はない。ループに視覚モデルは入らない。ピクセル照合もない。ループはあなたのエージェントの中に残る。

結果として、失敗の形が変わる。ピクセルベースの自動化は、間違ったものを静かにクリックして失敗し、3ステップ後に別のファイルが書き出されたことで気づく。refベースの自動化は、refが見つからないことで失敗する。騒がしく、即座で、デバッグできる。この差の片方なら製品にできる。

パネルとボタンの入れ子構造がプレーンテキストの行として描かれた画面。手前にキーボード

プロセスモデルがもたらすもの

READMEは、この分野の多くのツールが曖昧に流す点に丁寧だ。CLI呼び出しはすべて独立したプロセスで動く。

実装の詳細に聞こえる。実際には安全性の性質だ。常駐するデスクトップ自動化デーモンは状態を溜め、ハンドルを握り、セッションを固まらせる存在になる。スナップショットを取り、操作し、終了してJSONを返すワンショットのプロセスは、止めるのも監査するのも簡単だ。呼び出しがハングしたら、止めるのはマシンではなくプロセスで済む。

2つ目の性質はもっと率直に書かれている。ヘッドレス呼び出しでも、フォアグラウンドへのアクティベーションと合成入力を禁じる。つまりこのツールはマウスを乗っ取るロボットではない。ツリーを読み、要素に操作はできるが、午前2時にウィンドウを目の前へ引き抜いたりはしない。

この2つの判断が合わさって、バックグラウンド作業向けの道具だと分かる。エージェントがダッシュボードを確認し、表を読み、レポートを書き出し、誰にも見張られなくていい種類の仕事だ。

インストールは1行、そこが要点

npm install -g agent-desktop
agent-desktop version

パッケージはmacOS、Windows、Linuxのx64とARM64向けにネイティブバイナリとプラットフォームヘルパーを同梱する。Bun、Yarn、pnpmでも同じものが入る。パスにJavaScriptのランチャーを置きたくなければ、リリースページにネイティブのアーカイブがあり、好きな場所に置ける。

Cライブラリもある。より大きなものに組み込む人にとってはこちらのほうが面白い。CLIは、3つのOSのアクセシビリティAPIを読むライブラリのラッパーだ。ここがこの問題の難しい部分で、歴史上、必要としたチームがそれぞれ下手に作り直してきた部分でもある。

プライバシーの節が異例に率直

多くのREADMEはここを埋める。これは3段落目に置いている。

「スナップショット、クリップボードの読み取り、スクリーンショット、コマンド出力、デバッグ用の成果物には、私的なデスクトップの内容が含まれうる。公開ログやアップロードに残すな。」

これは免責事項ではなく、攻撃面の説明だ。デスクトップのアクセシビリティスナップショットは、そこにあるすべての構造化された目録になる。ウィンドウのタイトル、文書名、メールの件名、チャットの参加者名、フォームの項目ラベル。それをホスト型モデルに流すなら、あなたの1日の輪郭をアップロードしていることになる。

READMEは、画面の説明を設定済みのモデル提供元へ送る任意のヘルパーにも触れ、ネイティブCLIとは明示的に切り離している。この分離は正しい設計で、有効にする前にコードを読む価値がある。

まだ誰も良い答えを持っていない二次的な問題もある。スクリーンリーダーは以前からこのアクセスを持っていた。代替が特定の利用者にとってより悪かったから受け入れてきた。エージェントは自動化を確実にするためにこのアクセスを持つ。同じ能力で、まったく別の脅威モデルだ。社内に配備するなら、「どのプロセスがアクセシビリティツリーを照会できるか」は実際のポリシー問題で、ツールが答えてくれるものではない。

他の選択肢との位置関係

エージェントにソフトを操作させる方法は3つあり、それぞれ別のニッチに落ち着きつつある。

ピクセル単位のcomputer use — スクリーンショット、座標、クリック。アクセシビリティ非対応のアプリ、リモートデスクトップ、canvas描画のUIも含めて何にでも効く。壊れやすく、遅く、毎ステップ視覚モデルが要る。

CLIとAPIのシム — すべてのアプリにコマンドラインを与える。速くて決定的だが、誰かがシムを作る必要があり、ほとんどのデスクトップソフトには永遠に存在しない。

アクセシビリティツリー — 中間の道。構造化され、意味を持ち、視覚モデルが不要で、プラットフォームの慣習に従うアプリなら動く。自前でUIを描くアプリでは失敗する。

中間の道が面白いのは、エージェントの画面理解が、スクリーンリーダーを使う人間の理解と同じになる唯一の方法だからだ。これは実際の制約であり、有用な制約でもある。エージェントが見るインターフェースは、アクセシビリティ対応のためにどのみち存在しなければならないインターフェースだ。並行する世界を作っているわけではない。

私なら何を試すか

実験は2つ、どちらも安い。

まず、よく使う5つのアプリのスナップショットを取り、JSONを見る。ツリーの質で、この手法が自分のワークロードに効くかはすぐ分かる。Electronアプリはたいてい良好。2011年製のJava Swingアプリはたいてい酷い。自前描画のcanvasは絶望的で、直しようがない。

次に、スナップショットのサイズを測る。混み合ったウィンドウの1回のスナップショットがJSONで400KBなら、コンテキスト予算の問題を抱えている。時間は自動化ではなくフィルタ書きに消える。ツールはツリーを渡す。モデルに何を見せるかは、まだあなたの仕事だ。

より大きな論点は、「computer use」がデモのカテゴリから工学の分野へ落ち着きつつあるということだ。勝つ実装は、最も優れた視覚モデルを持つものではない。視覚を最も使わないものだ。ボタンに「Export」と書いてあることを確かめる手段として、視覚は最も高く、最も信頼できない。

関連記事