一個 397B 的開源模型現在能操作你的桌面,9B 的那個只差九分

NorthCUA 在 11 月 3 日推出一組三個開放權重模型,以及執行它們的 harness。最受注目的數字是 Pro:一個 397B 參數的混合專家系統,在 OSWorld-Verified 上拿下 88 分。這個 benchmark 要求 agent 在真實作業系統裡完成多步驟任務:搬移檔案、切換應用程式、填寫表單、讀取畫面,然後決定下一步點哪裡。
更該被注意的數字是 78.9。那是 Nano,9B 參數。
模型大小差了 44 倍,benchmark 只差九分。Mini 夾在中間,35B,85 分。在 WebArena-Verified 這個瀏覽器導覽 benchmark 上,差距同樣很窄。
這個 benchmark 到底在測什麼
OSWorld-Verified 給 agent 一個任務和一台虛擬機,然後判定最終狀態是否符合。它比選擇題更接近真實工作,但也沒有看起來那麼接近。任務定義清楚、環境乾淨,沒有意外會打斷。
88 分意味著大約 12% 的任務失敗。對研究系統來說這是好結果,對一個會碰到你檔案的產品來說這是壞結果。如果 agent 每八個任務錯一個,而其中有些失敗是刪錯東西或按錯按鈕,沒人會把它丟在工作筆電上不管。
這是對這次發布比較誠實的讀法,而作者也算厚道,技術報告沒有過度吹捧。報告也沒有為每個比較公布絕對分數,而是把閉源模型的結果寫成結論而不是表格:Pro 在 OSWorld 上贏過 Qwen3.8-Max 和 Kimi-K3,Mini 贏過 Kimi-K3,在 WebArena 上 Mini 贏過 Qwen3.8-Max,Pro 則兩個都贏。
那些是作者自己在自己的任務集上做的評測。把它當成一種主張,而不是排行榜名次。
訓練方式
三塊,命名異常直白。
Experience Flywheel 提供從真實應用使用中抽出的可執行任務。重點是這些任務帶著 ground truth,因為你可以檢查試算表有沒有被正確填好。
Harness 把一段長時間的互動串起來:它記錄決策、把觀察回饋進去,並在遠超過單一 context window 的工作階段之間驗證結果。每一條軌跡都在隔離的 E2B sandbox 裡收集,這也意味著訓練資料可重現,而模型從未見過一台它能弄壞的實機。
Staged Learning 是排程。先做 grounding 的 mid-training,教模型按鈕和文字欄位長什麼樣。接著用完整任務軌跡做長時程監督式微調。然後用 Group-Relative Policy Optimization 做跨桌面與網頁的聯合強化學習,這也是近期多數推理模型進展背後同一類方法。
規模是四十多個應用、超過 400 萬個 GUI 互動步驟。對 GUI 資料來說這很多,但跟前沿語言模型背後的文字語料比起來很少,而這正是專門化能勝出的條件。
Ultrafast 這個變體是更有意思的產物
NorthCUA-Ultrafast 把直接動作選擇和生成配在一起,跑在 RL 之前的 Nano 模型上。講白話,它跳過推理步驟,用學到的捷徑把觀察映射到動作,捷徑沒把握時才回頭思考。
報告說它在配對成功的 WebArena 任務上,平均完成速度快 2.3 倍。同樣的任務、同樣的成功,實際耗時不到一半。
這就是 computer-use agent 部署問題的形狀,而它不是多數人想像的形狀。成功率得到注意。延遲才決定人類會真的盯著 agent 工作,還是離開房間。一個要四分鐘、成功率 85% 的任務是工具。同樣的任務只要 100 秒,就是一個功能。
這也暗示了智慧得放在哪裡。如果一個帶捷徑的 9B 模型幾乎跟一個認真思考的 397B 模型一樣好,那麼對一大類桌面任務來說,瓶頸從來不是推理深度。而是 grounding 品質和資料覆蓋率,而這兩者改起來比較便宜。
為什麼開放權重在這裡比在其他地方更重要
computer-use agent 會看到你的螢幕。它擷取的每一張截圖都可能含客戶紀錄、密碼欄位、未公開的產品、內部儀表板。把這串流送到遠端 API 是一個資料治理決定。對很多組織來說,這是它們不被允許做的決定。
這次發布賣的其實是這個治理限制,而不是單純的能力。想要桌面自動化、又不能把螢幕擷取交給第三方處理的醫院、銀行、政府承包商和製造商,現在有三種大小可選,加上 harness,而且沒有軟體授權費。
接下來的實務建議很無聊但正確。先在你最常做的三件事上試 Nano:填表單、匯出報表、在兩個應用之間搬資料。如果它做得到,Mini 就能在一張資料中心 GPU 上扛生產量。Pro 的存在是為了找天花板,而如果你的天花板問題 Pro 解不掉,問題在你的任務設計,不在模型。
三種大小是一個定價決策
一次推出 9B、35B 和 397B,是讓客戶自己分流的一種方式。

9B 參數能放進筆電或迷你 PC。那是在雲端出口頻寬很貴的國家裡,小型企業能跑的版本,也是讓這次發布在幾個慣常市場之外有意義的版本。35B 能放進一張資料中心 GPU,那是多數生產部署會落到的層級。397B 的存在是為了證明架構能擴展,以及為了被引用在摘要裡。
這份 arXiv 風格的報告在評測上也做類似的事。它拿兆級參數的閉源模型來比,而不是跟開放同儕比,因為會被引用的是你贏的那個比較。想知道 Nano 對上一個調校良好的 32B 視覺語言模型表現如何的讀者,在這裡找不到答案。
這些都不會讓數字變錯。它讓數字變窄,而對買家有用的動作是忽略標題,去測你負擔得起的那個層級。
還沒有人解決的那部分
12% 的失敗率是一個統計數字。它背後是所有 computer-use 系統共有的具體行為。
它們會誤讀狀態。agent 點了一個早就勾選的核取方塊,下一步卻假設是自己剛勾上的。它們會搞丟哪個視窗有焦點。它們會重試一個部分成功的動作,讓效果變兩倍。而且它們沒有不可逆的概念,所以打開一個選單和按下寄給四百人的 email 送出鍵,信心程度一樣。
這次發布沒有任何東西處理這件事。緩解方式是架構性的:把 agent 跑在容器裡、每個不可逆步驟前先快照、對一份定義好的動作清單要求人工確認,並且為每一次點擊記錄畫面擷取,這樣失敗才能被診斷。
開放權重讓這個架構建起來更便宜,這才是支持它們的真正論點。閉源 API 強迫你信任廠商的安全層。開放的 checkpoint 讓你能在它周圍圍上自己的柵欄。
9B 和 397B 之間的九分,說明了這個市場接下來兩年的一些事。模型會慢慢變好,而產品會圍繞著哪個層級夠好、成本又能接受來打造。如果 Nano 今天就夠你用,那有趣的工程在你圍著手上這個模型所建的 harness 裡。
相關文章
一份社群維護的點擊表,關掉了中國品牌 Android 系統裡的廣告
它不動系統,不解鎖,不刷機,只把廠商本來就留出來的開關一個個撥過去。代價是這份名單得一直有人續寫。
GPT Image 2.6 守住 token 價格,帳單卻變貴了
GPT Image 2.6 沿用 2.5 的全部 token 費率,每張圖卻更貴,因為更多工作現在花在輸出 token 上。上線十一天,定價結構說得比排行榜更多。
有人從外部重寫了 IDM,並寫下自己沒碰過的部分
Mister Download Manager 用 Rust 重寫了 Internet Download Manager 的下載流程,聲稱速度快 5 倍、支援 86 種語言。更值得細讀的,是它解釋如何在不複製任何程式碼的前提下完成重寫的那一段。
Rune 是一個 Rust UI 框架,設計初衷是讓 agent 能檢查自己的工作
Rune 能無頭繪製、匯出元素樹並接受腳本化輸入,這讓編碼 agent 拿到截圖永遠給不了的東西,一個可 diff 的訊號。這個框架仍是預先發布版,不接受 pull request。