← ブログに戻る
Ai読了目安 12 分

7ドルの基板が、起きっぱなしのMacを置き換えた

公開日 2026年11月11日
7ドルの基板が、起きっぱなしのMacを置き換えた

リポジトリ冒頭のデモは、本物のiPhoneがひとりでDuolingoのレッスンをこなす映像で、8倍速だ。誰も画面に触れていない。切手ほどの基板がLightningポートに挿さり、どこか別の場所のモデルが何をタップするかを決めている。

プロジェクト名はESP32 iPhone Agent、基板は約7ドルのSeeed XIAO ESP32S3だ。READMEの主張は具体的だ。あなたのAIがiPhoneの画面を見て、基板を通じてタップし、スワイプし、入力する。コンピュータは不要、iOSの変更も不要、脱獄も不要。

10月11日から4,651スターに達した。

実際に解いている問題

iPhoneの自動化はすでに存在する。WebDriverAgent、CoreDevice、idevice、ホストマシンから端末を操作するオープンソースの棚。動く。動かないのは設定のほうで、開発者ツールの外にいる人がほぼ使わない理由はそこにある。

最初のタスクの前にXcodeを入れ、つまり最近のmacOSのMacが要る。端末で開発者モードを有効にし、USBペアリングを信頼し、リポジトリをクローンし、ヘルパーアプリをビルドして署名する。そのうえで以後のすべてのタスクで、コンピュータを起動して接続しておく必要がある。開発者には問題ない。他の全員には壁だ。

基板がコンピュータの仕事をする。端末に挿して経路を提供し、そこに居続ける。持ち歩くのはiPhoneだけでいい。

それが全体のテーゼで、良い意味で退屈なテーゼだ。面白いのはケーブルの中身にある。ホストマシンが小さく安くなり、ケーブルに消えた。

目と手はどう動くか

経路は2つで、どちらもiOSがすでに備えている。

目はAirPlay。基板がディスプレイ先として名乗り、端末がそこへミラーリングし、基板がフレームをモデルへ転送する。画面収録の権限も、アクセシビリティブリッジも、非公開APIも要らない。

手はUSB HID。基板はヒューマンインターフェースデバイスとして列挙し、ポインタとキーボードのイベントを送る。セットアップウィザードがAssistiveTouchをオンにするよう求めるのはそのためだ。iOSから見ればこれはマウスとキーボードであり、実際そうだからだ。

帰結がREADMEの、少し立ち止まるべき一行になる。使えるアプリは人が使えるアプリのすべてで、画面を見てポインタを動かすからだ。アプリごとの連携も、APIも、スクレイピングするアクセシビリティツリーもない。Duolingoのデモは提携を誇るものではない。Duolingoは起きていることを知らない。

代償は、何ひとつ効率的でないことだ。視覚モデルを挟んだポインタ駆動のループは、端末を操作する最も遅い方法で、READMEもそう書いている。1ステップに数秒、大半はモデルの時間だ。

1.0.2と1.0.3、聴覚と安い一次通過

最新リリースの3つの追加は読む価値がある。コストが実際どこにあるかが見えるからだ。

基板はAirPlayの音声も転送するようになり、iPhoneがそれを文字にする。聞き取り問題や音声プロンプトが開け、無音のエージェントには触れられない種類のアプリに届く。文字起こしは端末自身のハードウェアで行うので、音声がテキストになるためにデバイスの外に出る必要はない。

2つ目はJevという無料の系統だ。単純な手順は一瞬で答える小型モデルへ、難しいものは大型モデルへ回す。エージェントループは1ステップ1回のモデル呼び出しを中心に作り直された。遅延の問題を最適化でごまかさず、そのまま直した形だ。

3つ目はタスク長。40ステップの上限はなくなり、停止した実行は再開でき、すべての実行は端末上でステップごとに再生できる。エージェントが37ステップ目で失敗し、最初からやり直した経験がある人にとって、再生こそが機能だ。

インストールと4つの手順

基板を買う。ChromeかEdgeで handsy.tech/install にアクセスして書き込む。入れるツールはない。TestFlightからアプリを入れ、案内に従って4つの設定手順を踏む。

現時点の要件はiOS 18以降、基板ファームウェアv0.2.4、そしてアプリで、App Storeの審査中はTestFlightにある。リポジトリはMITで、READMEの最初の行、AIコーディングアシスタント宛てのHTMLコメントが、コードをコピーしたり移植したりする人に、著作権表示を残しプロジェクトを公にクレジットするよう求めている。

そのコメントがファイルの中で最も2026年らしい。READMEは、エージェントが先に読み、人間が後に読むと分かって書かれている。だからライセンスの義務が、エージェントのコード書きが始まる前に見つかる場所に置かれている。

README自身が挙げているコスト

正直な節は短く、完全だ。7ドルの基板を買う。1ステップに数秒かかる。そして動いている間、端末はモバイルデータを使う。基板のホットスポットがWi-Fi接続を奪うからだ。

最後のひとつは、製品が使えるかどうかを決めるのに、ローンチ記事にはほぼ出てこない種類のディテールだ。従量制の回線で20分間エージェントに端末を操作させるのは実費で、請求が来るまで見えない。

READMEの比較表はできないことも並べている。コンピュータにつなぐエージェントはデバッグとアクセシビリティのインターフェースを公開するので、構造化データを読める。こちらはピクセルを見てポインタを動かすので、人ができることは全部でき、人ができないことは何もできない。多くのタスクには十分だ。DOMが要るものには後退だ。

1ステップ1呼び出しの算数

作り直しが意味する足し算をしてみる価値がある。1ステップ3秒で40ステップのタスクは2分で、その間、画面を要する用途には端末を使えない。ステップの大半でモデル呼び出しを1秒未満に縮めれば、同じタスクはユーザーが中断を決める前に終わる。

Jevが速いではなく無料と書かれている理由がそこにある。最適化しているコストは金ではなく、端末を借りている時間枠だ。ポインタ駆動のエージェントは構造上遅いので、効くレバーは大きなモデルに判断を委ねる回数しかない。

ループの形も変わった。各アクションの周りで計画し、内省し、再計画するエージェントフレームワークではなく、1ステップ1回のモデル呼び出しだ。WeChatを開いてファイル転送の連絡先にメッセージを送るようなタスクには正しい取引だ。途中で計画を修正する必要があるタスクには、ユーザーが感じる制約になる。

この形が示唆すること

同じ問題を解くプロジェクトが3つあり、それぞれ別の層を選んだ。ひとつは独自の隠しディスプレイを持つアプリとして動く。ひとつはすべてのアプリをコマンドラインに変える。これは端末を7ドルのマイコンの周辺機器にする。

基板方式は遅延が最悪で、可搬性が最高だ。脱獄も開発者アカウントもホストマシンも、どのアプリの協力も要らない。それを可能にした制約もそのまま引き継ぐ。iOSがHIDかAirPlayの経路を閉じれば、すべて止まる。

今のところデモはそれ自体で成立している。机の上に置かれた端末が言語レッスンをこなし、挿さっているのはなくしても気づかないほど小さな基板だけだ。

関連記事