Vercel Labs, 좌표도 비전 모델도 쓰지 않는 데스크톱 제어 CLI 공개

약 2년 동안 “컴퓨터를 쓰는 AI”의 표준 데모는 늘 같은 모양이었다. 스크린샷을 찍고, 모델이 버튼 위치를 추측하고, 픽셀 (847, 412)를 합성 클릭하고, 뭐가 일어났는지 확인하려고 다시 스크린샷을 찍는다.
영상을 찍기엔 충분한 빈도로 되고, 제품으로 쓰기엔 불가능한 빈도로 실패한다. Vercel Labs가 이번 주 내놓은 CLI는 그 추측 자체를 건너뛴다. README 첫 줄이 곧 논지다. OS 접근성 트리로 데스크톱 앱을 읽고 조작한다.
저장소는 vercel-labs/agent-desktop, 라이선스는 Apache-2.0이고, 하루 만에 약 3800개의 스타가 붙었다.
ref가 곧 발상이다
2005년 무렵 이후의 운영체제는 모두 화면에 무엇이 있는지에 대한 구조화된 기술을 유지한다. 스크린리더가 읽는 것이 이것이다. 버튼이 있고, 라벨이 “Export”이고, 활성 상태이고, 대화상자 안에 있고, 그 대화상자가 특정 창에 속한다는 걸 안다.
agent-desktop은 그 트리의 스냅샷을 떠서 JSON으로 돌려준다. 에이전트가 조작할 수 있는 요소마다 ref가 붙는다. 에이전트는 ref에 대해 동작하고, 다시 스냅샷을 떠서 무엇이 바뀌었는지 확인한다.
그게 전부다. 좌표도 없고, 루프 안에 비전 모델도 없고, 픽셀 매칭도 없다. 루프는 당신의 에이전트 안에 남는다.
그 결과 실패의 모양이 달라진다. 픽셀 기반 자동화는 잘못된 것을 조용히 클릭하며 실패하고, 세 단계 뒤에 엉뚱한 파일이 내보내진 걸 보고 안다. ref 기반 자동화는 ref를 찾지 못해 실패한다. 시끄럽고, 즉각적이고, 디버깅할 수 있다. 제품을 올릴 수 있는 건 이중 하나다.

프로세스 모델이 주는 것
README는 이 분야 대부분의 도구가 흐리는 지점을 세심하게 다룬다. 모든 CLI 호출은 각자의 프로세스에서 실행된다.
구현 세부처럼 들린다. 실제로는 안전성 속성이다. 오래 살아 있는 데스크톱 자동화 데몬은 상태를 쌓고, 핸들을 쥐고, 세션을 막아버릴 수 있는 물건이 된다. 스냅샷을 뜨고, 동작하고, 종료하며 JSON을 돌려주는 단발 프로세스는 죽이기도 감사하기도 쉽다. 호출이 멈추면 죽이는 건 기계가 아니라 프로세스다.
두 번째 속성은 더 노골적으로 적혀 있다. 헤드리스 호출에서도 포그라운드 활성화와 합성 입력을 금지한다. 이 도구는 마우스를 납치하는 로봇이 아니다. 트리를 읽고 요소에 동작할 수는 있지만, 새벽 2시에 창을 당신 앞으로 끌어오지는 않는다.
이 두 결정이 합쳐지면 백그라운드 작업용 도구라는 게 드러난다. 에이전트가 대시보드를 확인하고, 표를 읽고, 리포트를 내보내며, 누가 지켜보지 않아도 되는 종류의 일이다.
설치는 한 줄, 그게 핵심이다
npm install -g agent-desktop
agent-desktop version
패키지는 macOS, Windows, Linux의 x64와 ARM64용 네이티브 바이너리와 플랫폼 헬퍼를 함께 담는다. Bun, Yarn, pnpm으로도 같은 것이 설치된다. 경로에 JavaScript 런처를 두기 싫다면 릴리스 페이지에 네이티브 아카이브가 있어 원하는 곳에 둘 수 있다.
C 라이브러리도 있다. 더 큰 것에 붙이려는 사람에게는 이쪽이 더 흥미롭다. CLI는 세 운영체제의 접근성 API를 읽는 라이브러리를 감싼 래퍼다. 이 문제의 어려운 부분이 여기이고, 역사적으로 필요했던 팀마다 형편없이 다시 만들어온 부분이기도 하다.
프라이버시 항목이 유난히 직설적이다
대부분의 README는 이 부분을 묻어둔다. 이 문서는 세 번째 문단에 배치한다.
“스냅샷, 클립보드 읽기, 스크린샷, 명령 출력, 디버그 산출물에는 사적인 데스크톱 내용이 들어 있을 수 있다. 공개 로그와 업로드에 남기지 마라.”
면책 문구가 아니라 공격면 설명이다. 데스크톱 접근성 스냅샷은 거기 있는 모든 것의 구조화된 목록이다. 창 제목, 문서 이름, 메일 제목, 채팅 참여자 이름, 폼 필드 라벨. 그걸 호스팅 모델로 흘려보내면 하루 일과의 윤곽을 업로드하는 셈이다.
README는 화면 설명을 설정된 모델 제공자로 보내는 선택적 헬퍼도 언급하고, 네이티브 CLI와 명시적으로 분리한다. 옳은 설계이고, 켜기 전에 코드를 읽어볼 값이 있다.
아직 아무도 좋은 답을 내놓지 못한 2차 문제도 있다. 스크린리더는 예전부터 이 접근권을 가졌고, 대안이 특정 사용자에게 더 나빴기 때문에 받아들였다. 에이전트는 자동화를 안정적으로 만들기 위해 이 접근권을 가진다. 같은 능력, 전혀 다른 위협 모델이다. 회사 안에 배포한다면 “어떤 프로세스가 접근성 트리를 조회할 수 있는가”는 실제 정책 문제이고, 도구가 대신 답해줄 문제가 아니다.
다른 선택지와의 위치
에이전트가 소프트웨어를 다루게 하는 방법은 세 가지이고, 각각 다른 틈새로 수렴 중이다.
픽셀 단위 computer use — 스크린샷, 좌표, 클릭. 접근성을 지원하지 않는 앱, 원격 데스크톱, canvas로 그린 UI까지 무엇에나 통한다. 잘 깨지고, 느리고, 단계마다 비전 모델이 필요하다.
CLI와 API 심 — 모든 앱에 명령줄을 붙인다. 빠르고 결정론적이지만 누군가 심을 만들어야 하고, 대부분의 데스크톱 소프트웨어에는 영원히 생기지 않는다.
접근성 트리 — 중간 경로. 구조화되어 있고 의미가 있고, 비전 모델이 필요 없으며, 플랫폼 관습을 따르는 앱이면 동작한다. 자체 UI를 그리는 앱에서는 실패한다.
중간 경로가 흥미로운 이유는, 에이전트의 화면 이해가 스크린리더를 쓰는 사람의 이해와 같아지는 유일한 방식이기 때문이다. 실제 제약이고 유용한 제약이다. 에이전트가 보는 인터페이스는 접근성 대응 때문에 어차피 존재해야 하는 인터페이스다. 평행 세계를 짓고 있는 게 아니다.
내가 직접 해볼 것
실험 두 개, 둘 다 싸다.
먼저 가장 많이 쓰는 앱 다섯 개의 스냅샷을 떠서 JSON을 본다. 트리의 품질만 보면 이 접근이 내 업무량에 통할지 바로 나온다. Electron 앱은 대체로 좋다. 2011년산 Java Swing 앱은 대체로 나쁘다. 직접 그린 canvas는 희망이 없고, 고칠 방법도 없다.
다음으로 스냅샷 크기를 잰다. 바쁜 창 하나의 스냅샷이 JSON 400KB라면 컨텍스트 예산 문제를 안고 있는 것이다. 시간은 자동화가 아니라 필터를 쓰는 데 사라진다. 도구는 트리를 준다. 모델에 무엇을 보여줄지는 여전히 당신 몫이다.
더 큰 논점은 “computer use”가 데모 카테고리에서 엔지니어링 분야로 자리 잡고 있다는 것이다. 이기는 구현은 최고의 비전 모델을 가진 쪽이 아니다. 비전을 가장 적게 쓰는 쪽이다. 버튼에 “Export”라고 적혀 있는지 확인하는 방법으로 비전은 가장 비싸고 가장 믿기 어렵다.
관련 글
Antigravity의 원격 에이전트, 클라우드 VM에서 도는 대신 잃는 것
Antigravity 2.29에서 원격 에이전트가 등장해 세션과 도구가 Google 관리 클라우드 VM에서 돌아간다. 노트북을 닫아도 작업은 계속되지만 로컬 MCP 서버와 skills는 잃는다.
NVIDIA, 월드 모델 'Cosmos 3' 파생 4종과 디코딩 프레임워크 'VFlash' 잇달아 공개
NVIDIA는 11월 5일 16B Cosmos 3 Nano를 전문화한 체크포인트 네 종을 OpenMDW1.1로 공개하고 학습 레시피와 추론 코드를 함께 내놨다. 다음 날에는 기하 출력을 병렬 생성하는 디코딩 프레임워크 VFlash를 발표했다.
GitHub 트렌드 4분의 1이 '에이전트 skills'…설치 방식은 네 갈래로 갈렸다
11월 8일 GitHub 데일리 트렌드 15건 가운데 4건이 에이전트 skills 저장소였다. 형식은 `SKILL.md`와 YAML 프런트매터로 단순하지만, 설치 경로는 네 제품에서 제각각이고 중복이 우선순위 문제를 만든다.
Thinking Machines 'Inkling 2 Small', 594B 희소 MoE로 86.3%…가중치는 여전히 '다음 주'
Thinking Machines는 11월 5일 총 594B, 토큰당 17B 활성의 희소 MoE 'Inkling 2 Small'을 발표했다. SWE-Bench Pro v2 Hard에서 86.3%를 기록했고 Apache 2.0 가중치는 출시 일주일 뒤로 예고됐다.