397Bのオープンモデルがデスクトップを操作する。9Bはわずか9ポイント差。

NorthCUAは11月3日、3つのオープンウェイトモデルと、それらを動かすハーネスを公開しました。注目される数字はProです。397Bパラメータのmixture-of-expertsシステムで、OSWorld-Verifiedで88点を取っています。これはエージェントが実際のオペレーティングシステムの中で複数ステップのタスクをこなすベンチマークで、ファイルの移動、アプリケーションの切り替え、フォームの入力、画面を読んで次にどこをクリックするかの判断が含まれます。
もっと注目されるべき数字は78.9です。9BパラメータのNanoのスコアです。
モデルサイズが44倍違って、ベンチマークの差は9ポイントです。Miniは中間の35Bで85点。ブラウザ操作のベンチマークであるWebArena-Verifiedでも、差は同じように小さいものです。
このベンチマークが実際に測っているもの
OSWorld-Verifiedはエージェントにタスクと仮想マシンを与え、最終状態が合っているかを採点します。選択式のテストより実際の仕事に近く、見た目よりは実際の仕事から遠い。タスクはよく定義され、環境はクリーンで、予期しない中断はありません。
88点ということは、およそ12パーセントのタスクが失敗するということです。研究システムとしては良い結果で、あなたのファイルに触れる製品としては悪い結果です。8回に1回を間違え、その失敗のいくつかが間違ったものの削除や間違ったボタンのクリックであるなら、誰もワークラップトップの上で放っておきはしません。
それがこのリリースの正直な読み方で、著者たちは立派で、技術レポートはそれを過大に宣伝していません。また、すべての比較について絶対スコアを公開しているわけでもなく、クローズドモデルの結果を表ではなく判定として示しています。ProはOSWorldでQwen3.8-MaxとKimi-K3に勝ち、MiniはKimi-K3に勝ち、WebArenaではMiniがQwen3.8-Maxに勝ち、Proは両方に勝つ、という形です。
これは著者自身が自分のタスクセットで行った評価です。主張として扱うべきで、リーダーボードの順位として扱うべきではありません。
どうやって訓練されたか
3つの部品からなり、名前は異常なほどそのままです。
Experience Flywheelは、実際のアプリケーション利用から取った実行可能なタスクを供給します。要点は、タスクにground truthが付いてくることです。スプレッドシートが正しく埋まったかを確認できるからです。
Harnessは長いインタラクションをつなぎ止めます。判断を記録し、観測を戻し、単一のコンテキストウィンドウよりずっと長く続くセッションをまたいで結果を検証します。すべての軌跡は隔離されたE2Bサンドボックスで収集されました。つまり訓練データは再現可能で、モデルは壊せるような実機を一度も見ていません。
Staged Learningはスケジュールです。まずgroundingのmid-trainingで、ボタンやテキストフィールドがどう見えるかを教えます。次に完全なタスク軌跡による長期的な教師ありファインチューニング。そのあと、Group-Relative Policy Optimizationを使ったデスクトップとウェブをまたぐ統合強化学習。最近の推論モデルの改善の多くを支えているのと同じ系統の手法です。
規模は数十のアプリケーションにまたがる400万以上のGUIインタラクションステップです。GUIデータとしては大きく、フロンティア言語モデルの背後にあるテキストコーパスと比べれば小さい。まさに専門化が勝つ条件です。
Ultrafastバリアントのほうが面白い成果物だ
NorthCUA-Ultrafastは直接的な行動選択と生成を組み合わせ、RL前のNanoモデルで動きます。平たく言えば、推論のステップを飛ばし、学習したショートカットで観測を行動に写像し、ショートカットに自信がないときだけ考えるほうに戻ります。
レポートは、一致した成功したWebArenaタスクで平均完了時間が2.3倍速いとしています。同じタスク、同じ成功率で、実時間は半分以下です。
これがcomputer-useエージェントの配備問題の形で、多くの人が想像する形ではありません。注目されるのは成功率です。人間が実際にエージェントの仕事を見ているか、部屋を出ていくかを決めるのはレイテンシです。4分かかって85パーセント成功するタスクは道具です。同じタスクが100秒なら機能です。
これは知能をどこに置くべきかも示しています。ショートカット付きの9Bモデルが、じっくり考える397Bモデルとほぼ同じなら、多くのデスクトップタスクのボトルネックは推論の深さではなかったということです。ボトルネックはgroundingの質とデータのカバレッジで、そちらのほうが安く改善できます。
なぜここではオープンウェイトがより重要か
computer-useエージェントはあなたの画面を見ます。撮影するスクリーンショットには、顧客記録、パスワード欄、未発表の製品、社内ダッシュボードが写り得ます。そのストリームをリモートAPIに送るのはデータガバナンスの判断です。多くの組織にとって、それは下せない判断です。
このリリースが売り込んでいるのは、生の能力ではなく、そのガバナンス上の制約です。デスクトップ自動化を望みながら、画面キャプチャを第三者経由にできない病院、銀行、政府請負業者、製造業者は、3つのサイズとハーネスを選べます。ソフトウェアライセンス料はかかりません。
そこから出てくる実務的な指針は地味で正しい。まずNanoを、いちばんよくやる3つのタスクで試してください。フォームの入力、レポートの書き出し、2つのアプリケーション間のデータ移動です。それができるなら、MiniがデータセンターのGPU1枚で本番の量をさばきます。Proは天井を見つけるためにあり、その天井の問題がProで解けないなら、問題はモデルではなくタスク設計です。
3つのサイズは価格の判断だ
9B、35B、397Bを一度に出すのは、顧客に自分で選び分けてもらう方法です。

9BパラメータはラップトップやミニPCに収まります。クラウドのイグレスが高い国の中小企業が動かせるバージョンで、このリリースがいつもの少数の市場の外で意味を持つのはそのおかげです。35BはデータセンターのGPU1枚に収まり、ほとんどの本番配備はこの層に落ちます。397Bはアーキテクチャがスケールすることを示すため、そしてアブストラクトで引用されるために存在します。
arXiv風のレポートは評価でも似たことをしています。オープンな同類ではなく、兆パラメータ級のクローズドモデルと比べるのです。引用されるのは勝っている比較だからです。Nanoがよく調整された32Bの視覚言語モデルに対してどうなのかを知りたい読者は、ここでは見つけられません。
だから数字が間違っているわけではありません。狭くなっているだけです。買う側にとって有用なのは、見出しを無視して、払える層を試すことです。
誰も解決していない部分
12パーセントの失敗は統計です。その背後には、すべてのcomputer-useシステムが共有する具体的な振る舞いがあります。
状態を読み違えます。すでにチェックされていたチェックボックスをクリックし、次のステップでは自分がオンにしたと仮定します。どのウィンドウにフォーカスがあるかを見失います。部分的に成功した行動を再試行して効果を二重にします。そして不可逆性という概念がありません。メニューを開くときも、400人へのメールの送信を押すときも、同じ自信です。
このリリースのどこもそれには触れていません。緩和はアーキテクチャの側です。エージェントをコンテナで動かし、不可逆なステップの前にスナップショットを取り、定義した行動リストについては人間の確認を要求し、すべてのクリックをフレームキャプチャ付きで記録して失敗を診断できるようにする。
オープンウェイトはそのアーキテクチャを安く作れるようにします。それが本当の論拠です。クローズドAPIはベンダーの安全層を信頼しろと言います。オープンなチェックポイントなら、自分の柵を自分で置けます。
9Bと397Bの間の9ポイントは、この市場のこれから2年について何かを語っています。モデルはゆっくり良くなり、製品はどの層が十分に良く、コストが合うかを中心に作られます。Nanoが今日のあなたのワークフローに十分なら、面白いエンジニアリングは、すでに持っているモデルの周りに組むハーネスにあります。
関連記事
中国製 Android のシステム UI に載った広告を切る、コミュニティ管理のタップ表
システムには触らず、アンロックも書き込みもしない。ベンダーがもともと用意したスイッチを一つずつ倒すだけだ。代償は、この一覧を書き続ける人が要ることにある。
GPT Image 2.6 はトークン単価を据え置き、請求額を上げた
GPT Image 2.6 は 2.5 のトークン単価をすべて引き継ぎながら、1 枚あたりの費用は上がった。仕事の多くが出力トークン側に移ったからだ。11 日目の価格構造は、ランキングより多くを語る。
外から IDM を作り直した人が、触れなかった部分を書き残した
Mister Download Manager は Internet Download Manager の流れを Rust で作り直し、5 倍の速度と 86 言語を掲げる。より興味深いのは、何もコピーせずにどう作ったのかを説明した段落のほうだ。
Rune はエージェントが自分の仕事を検証できるように作られた Rust UI フレームワーク
Rune はヘッドレスで描画し、要素ツリーを出力し、スクリプト化された入力を受け付ける。スクリーンショットでは決して得られない、diff できる信号をコーディングエージェントに渡せる。フレームワークはプレリリースで、プルリクエストは受け付けない。