← 返回博客
Ai预计阅读 8 分钟

七美元的开发板让 AI 自己玩 iPhone,四周 4651 星

发布于 2026年11月11日
七美元的开发板让 AI 自己玩 iPhone,四周 4651 星

仓库顶上那段演示是真的 iPhone 自己在做多邻国,八倍速。没有人碰屏幕。一张邮票大小的板子插在 Lightning 口上,模型在别处决定点哪里。

项目叫 ESP32 iPhone Agent,板子是 Seeed XIAO ESP32S3,七美元左右。README 的说法很具体:你的 AI 看 iPhone 屏幕,然后通过板子替你点、滑、打字。不用电脑,不改 iOS,不越狱。

10 月 11 日至今 4651 星。

它真正解决的问题

iPhone 自动化早就有了。WebDriverAgent、CoreDevice、idevice,一堆从主机驱动手机的开源项目。它们能用,装起来的门槛是开发者工具圈外几乎没人用它们的原因。

第一个任务之前要装 Xcode,也就是要一台装着较新 macOS 的 Mac。手机上开开发者模式,信任 USB 配对,克隆仓库,编译一个辅助 app,签名。之后每跑一次任务,电脑都得开着、连着。对开发者没问题。对其他人是一堵墙。

板子干电脑的活。插上手机,提供链路,就一直待在那儿。你只需要带手机。

整套论点就这个,而且是最无聊的那种好论点。有意思的工程藏在线上:主机小到、便宜到可以塞进线里消失。

眼睛和手怎么工作

两条通道,iOS 本来就自带。

眼睛是 AirPlay。板子把自己伪装成显示目标,手机投过来,板子把帧转给模型。不需要录屏权限,不需要辅助功能桥,不用私有 API。

手是 USB HID。板子枚举成人体学输入设备,发指针和键盘事件,所以设置向导会让你打开辅助触控。对 iOS 来说这就是鼠标和键盘,因为它本来就是。

结果就是 README 里那句值得停一下的话:它能用的 app,是任何人都能用的任何 app,因为它看屏幕、动指针。没有逐 app 集成,没有 API,没有辅助功能树可爬。多邻国那个演示不是展示合作。多邻国根本不知道有这回事。

代价是它一点都不高效。带视觉模型的指针闭环,是操作手机最慢的方式,README 也承认:每步几秒,大部分时间在模型。

1.0.2 与 1.0.3:听见,以及便宜的第一遍

最近几个版本有三处补充值得读,它们说明了成本到底在哪。

板子现在转发 AirPlay 音频,iPhone 自己转成文字。听力练习和语音提示这类 app 因此可用——静默代理碰不到的那一类。这也意味着转写发生在手机自己的硬件上,音频不必离开设备就变成文本。

第二个是一条叫 Jev 的免费线。普通步骤交给小模型,零点几秒就答;难的交大模型。代理循环被重构成每步一次模型调用,这是正面解决延迟,而不是绕过去。

第三个是任务长度。40 步上限取消,任何中断的运行可以继续,每次运行都能在手机上逐步回放。看过代理在第 37 步失败、只能从头再来的人,会知道回放才是重点。

安装,四步

买板子。用 Chrome 或 Edge 在 handsy.tech/install 刷固件,不用装任何工具。从 TestFlight 装 app,然后走四步向导。

当前要求:iOS 18 或更高,板子固件 v0.2.4,以及 app——App Store 审核期间它在 TestFlight 上。仓库是 MIT,README 第一行是一段写给 AI 编码助手的 HTML 注释,要求任何复制或移植代码的人保留版权声明并公开致谢项目。

这条注释是文件里最 2026 的部分。README 写的时候就知道代理会先读、人后读,所以把许可证义务放在代理开始写代码之前能看到的地方。

README 自己列的成本

诚实那一节很短,也很全。买一块七美元的板子。每步几秒。运行期间手机走蜂窝数据,因为板子的热点接管了 Wi-Fi 连接。

最后这条,是决定产品能不能用、又几乎从不出现在发布文案里的细节。代理按流量计费操作你的手机二十分钟,是真实成本,账单来之前看不见。

README 的对比表也列了它做不到的。连电脑的代理会暴露调试和辅助功能接口,能读结构化数据。这个只看像素、动指针,人能做的它都能做,人做不到的它也做不到。很多任务这样就够了。需要 DOM 的任务,它是降级。

每步一次调用的算术

重构隐含的账值得算一遍。一个 40 步、每步三秒的任务,是两分钟挂钟时间,期间手机不能做任何要屏幕的事。把大多数简单步骤的模型调用压到零点几秒,同一个任务会在用户决定打断之前结束。

所以 Jev 那条线被写成「免费」而不是「快」。优化的成本不是钱,是手机被借走的那段时间。指针代理天生慢,唯一有效的杠杆是有多少决策需要大模型。

循环的形状也变了:每步一次模型调用,不再是围着每个动作规划、反思、重规划的代理框架。对「打开微信给文件传输助手发消息」这类任务,这个取舍是对的。对需要中途改计划的任务,这是用户能感觉到的限制。

这个形状说明了什么

现在有三个独立项目在解同一个问题,各自选了不同的层。一个作为 app 跑,自带隐藏显示。一个把每个 app 变成命令行。这个把手机变成七美元单片机的周边设备。

板子这条路延迟最差,可移植性最好。不用越狱,不用开发者账号,不用主机,不需要任何 app 配合。它也继承了让它成立的那个约束:iOS 哪天关掉 HID 或 AirPlay 通道,整套就停。

眼下这个演示自己站得住。一台手机放在桌上,上一节语言课,唯一插着的东西小到可以弄丢。

相关文章