スマホを奪わないエージェント、Mikaの第二の画面

Mikaについて最初に知っておくべきは、何を奪わないかだ。画面を。
私が試したスマホエージェントはどれも同じように動く。ディスプレイを占有し、落ち着きのないインターンの速さでアプリをタップして回り、終わったら端末を返してくる。作業中は自分の端末が使えない。Mikaはすべてを2枚目の隠れた画面で動かすので、代理で誰かにメッセージを送らせながらスクロールを続けられる。
Androidアプリで、Apache-2.0、Kotlinで書かれ、GitHubのトレンドリストに1カ月載って約7500スター。サーバーはない。モデルのキーを持ち込むか、すでに持っているアカウントでサインインする。
背景画面の仕組み
Androidはバーチャルディスプレイをずっと前からサポートしている。キャストや画面録画の実装がそれだ。Mikaはそれをワークスペースとして使う。アプリはそこで開き、エージェントはそこでタップし、入力し、スクロールする。小さなフローティングのライブビューで、見たいときに覗ける。カプセルをダブルタップすると、エージェントはあなたの画面のほうを見られる。これが「これにどう返信すべき?」と聞く方法だ。
賢いのは、エージェントがアプリごとの統合を必要としないことだ。画面を見て、人がやるようにボタンを見つける。APIもプラグインも、アプリ開発者の協力もいらない。それが同時に居心地の悪い部分でもあり、後で戻る。

セットアップは3ステップ、うち1つが普通ではない
リリースページからAPKを入れる。Android 11以降。設定でモデルプロバイダを選んでキーを貼るか、ChatGPT、xAI、OpenRouterのアカウントでサインインする。任意で、ローカルネットワーク越しに自分のマシンで動いているモデルを指定できる。READMEはカスタムエンドポイントを明示的にサポートしている。
3つ目のステップが面白いところだ。他のアプリを操作するには、MikaはAndroidのワイヤレスデバッグを有効にして一度ペアリングする必要がある。これでバーチャルディスプレイを作り、入力を注入する権限が得られる。セットアップウィザードが案内し、ワイヤレスデバッグのトグルを隠しているROM向けに、USB経由のフォールバックも文書化されている。
これは実際の技術判断で、実際の帰結がある。Mikaは、アクセシビリティサービス型のエージェントを永久に出荷しない端末でも動く。そして、あなたが与える権限は通常のアプリより広い。READMEはそのトレードオフに正直だ。Wi-Fiを変えるか再起動するとAndroidはワイヤレスデバッグを切るので、Mikaはあなたの許可を得て再度有効にし、再ペアリングが必要なこともある。
実際に何が得意か
デモGIFがリポジトリで最も役に立つ部分だ。魔法ではなく、普通で退屈な作業が写っている。WeChatのグループを読んで今日の話題を要約する。4.5スターの30ドル以下の充電器をカートに入れ、決済の手前で止める。小紅書であるクリエイターの最近の投稿を読んでまとめる。3件の求人で採用担当者に挨拶する。広告を見て音楽の特典を解放する。割引を重ねて出前を頼み、支払い前に確認する。
このリストは価値の地図として良い。成功条件が明確で、創造性がなく、インターフェースが退屈な作業だ。まさに誰もスマホでしたくない仕事であり、まさに画面を読むエージェントがAPIなしでできる仕事である。
デモに中国のアプリが出てくるのは偶然ではない。WeChatと小紅書には公開された自動化APIがなく、これからもない。だからこそ完璧なストレステストになる。READMEはMikaがそれらに縛られていないと注記しており、それは事実だ。だがデモにそれらが出る理由は、「どんなアプリでも統合なし」が、統合を拒むアプリでしか証明できないからだ。
ガードレールが設計そのもの
2つ際立つ。
第一に、危険な部分を手放す。ログイン、確認コード、支払いはあなたに返される。スクリーンショットをブロックするページ——決済フロー、パスワード入力——も引き渡される。エージェントは決済ボタンの手前で止まり、押さないよう指示されている。
第二に、Mikaのサーバーが存在しない。APIキーと記憶は端末上で暗号化され、会話と実行記録はローカルに残る。モデルプロバイダ以外の外部通信は、GitHubへの更新確認だけだ。インストール前にプライバシーの節を読むタイプなら、その節はあなたのために書かれている。
また、あなたが述べた好みを覚え、完了したタスクを使い回せるスキルに変える。同じことを2回頼んだとき、アプリのレイアウトを再発見しない。コーディングエージェントに広がっている「リポジトリを一度学ぶ」という考えを、スマホに適用したものだ。
どこかで禁止される部分
第三者のアプリを自動操作することは、その利用規約に違反するかもしれない。READMEはそう明言し、そのうえで自分の判断で使い、重要なものにはAskモードを優先するよう書いている。
この一文は多くを担っている。大規模な画面読み取り自動化は、プラットフォームの不正対策チームがまさに検出するために作られているものだ。自分の端末で自分のアカウントで動くツールは、このアイデアの最も正統な版であり、同時に濫用版と最も区別しにくい。グループチャットを読むのに使うなら誰も気にしない。1万人がエンゲージメント稼ぎに使えば、アプリは反応する。その反応は礼儀正しいものではない。
セキュリティの角度も述べておくべきだ。バーチャルディスプレイと入力注入を持つエージェントは、あなたがそれらのアプリでできることを何でもできる。それを第三者モデルプロバイダと通信するアプリに与えるのは——たとえ自分で選んだものでも——機能の判断ではなく信頼の判断だ。
なぜ1つのアプリを超えて重要か
Mikaで面白い主張は機能的ではなく構造的だ。2年間、スマホエージェントにはアプリの協力が必要だという前提があった。API、インテント、プラグイン。Mikaは、2枚目の画面と入力注入で足りることを示し、その道が協力を拒むすべてのアプリで機能することを示した。
つまりスマホ自動化の上限は技術的な協力ではない。ポリシーだ。それは別の戦いで、これから2年、利用規約の上でアプリごとに戦われる。
インストール前に知っておくべき実務的な限界が2つ。Android専用で、iOSの道はなく、Appleがバーチャルディスプレイと入力注入を扱う様子からすると、近いうちにできる可能性は低い。そして1人のプロジェクトでIssueトラッカーも若いので、ROM互換性リストは認定ではなく伝聞として扱うこと。端末がワイヤレスデバッグを隠しているなら、USBフォールバックはあるが、ウィザードより確実に面倒だ。
一方、明らかに問題ない狭い範囲——読む、要約する、フォームを埋める、支払い前に止まる——では、MikaはAndroidで見た中で最も使いやすく、動いている間スマホを人質に取らない唯一のものだ。
関連記事
中国製 Android のシステム UI に載った広告を切る、コミュニティ管理のタップ表
システムには触らず、アンロックも書き込みもしない。ベンダーがもともと用意したスイッチを一つずつ倒すだけだ。代償は、この一覧を書き続ける人が要ることにある。
GPT Image 2.6 はトークン単価を据え置き、請求額を上げた
GPT Image 2.6 は 2.5 のトークン単価をすべて引き継ぎながら、1 枚あたりの費用は上がった。仕事の多くが出力トークン側に移ったからだ。11 日目の価格構造は、ランキングより多くを語る。
外から IDM を作り直した人が、触れなかった部分を書き残した
Mister Download Manager は Internet Download Manager の流れを Rust で作り直し、5 倍の速度と 86 言語を掲げる。より興味深いのは、何もコピーせずにどう作ったのかを説明した段落のほうだ。
Rune はエージェントが自分の仕事を検証できるように作られた Rust UI フレームワーク
Rune はヘッドレスで描画し、要素ツリーを出力し、スクリプト化された入力を受け付ける。スクリーンショットでは決して得られない、diff できる信号をコーディングエージェントに渡せる。フレームワークはプレリリースで、プルリクエストは受け付けない。