七美元的開發板讓 AI 自己玩 iPhone,四週 4651 星

儲存庫頂上那段展示是真的 iPhone 自己在做多鄰國,八倍速。沒有人碰螢幕。一張郵票大小的板子插在 Lightning 埠上,模型在別處決定點哪裡。
專案叫 ESP32 iPhone Agent,板子是 Seeed XIAO ESP32S3,七美元左右。README 的說法很具體:你的 AI 看 iPhone 螢幕,然後透過板子替你點、滑、打字。不用電腦,不改 iOS,不越獄。
10 月 11 日至今 4651 星。
它真正解決的問題
iPhone 自動化早就有了。WebDriverAgent、CoreDevice、idevice,一堆從主機驅動手機的開源專案。它們能用,裝起來的門檻是開發者工具圈外幾乎沒人用它們的原因。
第一個任務之前要裝 Xcode,也就是要一台裝著較新 macOS 的 Mac。手機上開開發者模式,信任 USB 配對,複製儲存庫,編譯一個輔助 app,簽名。之後每跑一次任務,電腦都得開著、連著。對開發者沒問題。對其他人是一堵牆。
板子幹電腦的活。插上手機,提供鏈路,就一直待在那兒。你只需要帶手機。
整套論點就這個,而且是最無聊的那種好論點。有意思的工程藏在線裡:主機小到、便宜到可以塞進線裡消失。
眼睛和手怎麼工作
兩條通道,iOS 本來就內建。
眼睛是 AirPlay。板子把自己偽裝成顯示目標,手機投影過來,板子把影格轉給模型。不需要螢幕錄製權限,不需要輔助使用橋接,不用私有 API。
手是 USB HID。板子列舉成人體學輸入裝置,發指標和鍵盤事件,所以設定精靈會讓你打開輔助觸控。對 iOS 來說這就是滑鼠和鍵盤,因為它本來就是。
結果就是 README 裡那句值得停一下的話:它能用的 app,是任何人都能用的任何 app,因為它看螢幕、動指標。沒有逐 app 整合,沒有 API,沒有輔助使用樹可爬。多鄰國那個展示不是展示合作。多鄰國根本不知道有這回事。
代價是它一點都不高效。帶視覺模型的指標閉環,是操作手機最慢的方式,README 也承認:每步幾秒,大部分時間在模型。
1.0.2 與 1.0.3:聽見,以及便宜的第一遍
最近幾個版本有三處補充值得讀,它們說明了成本到底在哪。
板子現在轉發 AirPlay 音訊,iPhone 自己轉成文字。聽力練習和語音提示這類 app 因此可用——靜默代理碰不到的那一類。這也意味著轉寫發生在手機自己的硬體上,音訊不必離開裝置就變成文字。
第二個是一條叫 Jev 的免費線。普通步驟交給小模型,零點幾秒就答;難的交大模型。代理循環被重構成每步一次模型呼叫,這是正面解決延遲,而不是繞過去。
第三個是任務長度。40 步上限取消,任何中斷的執行可以繼續,每次執行都能在手機上逐步回放。看過代理在第 37 步失敗、只能從頭再來的人,會知道回放才是重點。
安裝,四步
買板子。用 Chrome 或 Edge 在 handsy.tech/install 刷韌體,不用裝任何工具。從 TestFlight 裝 app,然後走四步精靈。
目前要求:iOS 18 或更高,板子韌體 v0.2.4,以及 app——App Store 審核期間它在 TestFlight 上。儲存庫是 MIT,README 第一行是一段寫給 AI 編碼助手的 HTML 註解,要求任何複製或移植程式碼的人保留版權聲明並公開致謝專案。
這條註解是檔案裡最 2026 的部分。README 寫的時候就知道代理會先讀、人後讀,所以把授權義務放在代理開始寫程式碼之前能看到的地方。
README 自己列的成本
誠實那一節很短,也很全。買一塊七美元的板子。每步幾秒。執行期間手機走行動數據,因為板子的熱點接管了 Wi-Fi 連線。
最後這條,是決定產品能不能用、又幾乎從不出現在發布文案裡的細節。代理按流量計費操作你的手機二十分鐘,是真實成本,帳單來之前看不見。
README 的對照表也列了它做不到的。連電腦的代理會暴露偵錯和輔助使用介面,能讀結構化資料。這個只看像素、動指標,人能做的它都能做,人做不到的它也做不到。很多任務這樣就夠了。需要 DOM 的任務,它是降級。
每步一次呼叫的算術
重構隱含的帳值得算一遍。一個 40 步、每步三秒的任務,是兩分鐘掛鐘時間,期間手機不能做任何要螢幕的事。把大多數簡單步驟的模型呼叫壓到零點幾秒,同一個任務會在使用者決定打斷之前結束。
所以 Jev 那條線被寫成「免費」而不是「快」。優化的成本不是錢,是手機被借走的那段時間。指標代理天生慢,唯一有效的槓桿是有多少決策需要大模型。
循環的形狀也變了:每步一次模型呼叫,不再是圍著每個動作規劃、反思、重規劃的代理框架。對「打開微信給檔案傳輸助手發訊息」這類任務,這個取捨是對的。對需要中途改計畫的任務,這是使用者能感覺到的限制。
這個形狀說明了什麼
現在有三個獨立專案在解同一個問題,各自選了不同的層。一個作為 app 跑,自帶隱藏顯示。一個把每個 app 變成命令列。這個把電話變成七美元單晶片的周邊裝置。
板子這條路延遲最差,可攜性最好。不用越獄,不用開發者帳號,不用主機,不需要任何 app 配合。它也繼承了讓它成立的那個約束:iOS 哪天關掉 HID 或 AirPlay 通道,整套就停。
眼下這個展示自己站得住。一台手機放在桌上,上一節語言課,唯一插著的東西小到可以弄丟。
相關文章
Antigravity 2.29 把代理搬進雲端 VM,語音只能放行小事
任務改在 Google 託管的雲端 VM 裡跑,蓋上筆電也不停。代價是本機的 MCP 伺服器、外掛與 skills 全部用不到,而語音只准放行不痛不癢的權限。
NVIDIA 放四顆 Cosmos 3 世界模型,還有一個快 25 倍的解碼器
四顆 16B 檢查點加上後訓練配方與程式碼,可以自己調成自家感測器配置。NVIDIA 同時明說:這些模型能否當訓練環境,還有待測量。
GitHub 熱榜四分之一是 agent skills,安裝方式卻有四套
熱榜 15 個倉庫裡有 4 個是 agent skills 合集,第 5 個附了 skill 包裝。採用沒問題,問題是同一個物件有四套互不相容的安裝方式,以及沒人處理的優先順序與信任問題。
Inkling 2 Small 拿下 86.3%,權重卻還要再等一週
Inkling 2 Small 在 SWE-Bench Pro v2 Hard 拿到 86.3%,還能自己微調別人的模型。但 Apache 2.0 權重還沒放出來,也沒給日期。