一支手機跑 350 億參數，正從 Demo 變成日常

一支手機跑 350 億參數，正從 Demo 變成日常

10 月 13 日，面壁智能發布新一代端側多模態大模型 MiniCPM-V4.7，一次給出兩個版本：35B-A3B 和 1B。乍看是一次常規迭代，但那個 35B-A3B 的型號值得多看一眼：總參數 350 億，走 MoE（混合專家）架構，每次推論只啟用其中約 30 億參數。官方稱它是「首個能在端側無損流暢執行的開源 MoE 模型」，跑起來只佔約 3GB 記憶體。

在 iPad Pro 上實測，解碼速度 15 token/s 以上。你問一句，它回一句，不用盯著進度條慢慢爬。

MoE 在端側的兩難

MoE 之所以流行，是因為它算得一筆好帳：把模型拆成許多「專家」，每次只叫醒其中幾位。總參數可以堆得很大，實際運算量卻接近一個小模型。這條路線在雲端很舒服，機房裡有的是顯存。

搬到端側就尷尬了。瓶頸不在算力，在記憶體。所有專家都得預先放進去備著，因為沒人知道下一個 token 會用到誰。350 億參數按常規精度躺在那兒，就是幾十 GB，手機記憶體直接告急。「能力強」和「跑得動」在端側成了一道單選題。

提前叫醒下一位專家

面壁的解法叫 LES，前瞻專家調度。思路並不玄：既然用哪幾位專家可以預測，那就提前預測。系統在當前的矩陣運算還在進行時，就判斷接下來要呼叫哪些專家，把它們先一步載入記憶體，讓載入和運算疊在一起跑。

換個說法，就是把「臨時跑去倉庫取貨」改成「一邊幹活、一邊有人把下一件貨提前遞到你手上」。官方表示這是目前業界獨家的開源方案。

兩個版本，各管一段

35B-A3B 負責把旗艦級能力往端側搬。它面向的是這樣一類場景：既想要接近雲端水準的理解力，又不願意把資料送出去。離線文件問答、拍張照片當場辨識、無網路環境下的語音助理，都在射程之內。1B 版本則把效率壓到極致，目標是讓更多裝置都能跑起來，而不是只服務少數旗艦機。

發布當天，MiniCPM-V4.7 就完成了對瑞芯微、NVIDIA、Intel、Apple 等晶片平台的相容，同時支援 iOS、Android 和鴻蒙，並開放了端側適配程式碼與主流推論框架。這套動作的潛台詞很清楚：它不是實驗室裡的展示，而是希望開發者拿過去就能落地。

6000 萬次下載背後的路線選擇

面壁與 OpenBMB 社群共同維護的 MiniCPM 系列，累計下載量已突破 6000 萬次，涵蓋文字、視覺、語音。這個數字放在開源圈裡不算小，說明端側小模型這條線有穩定的真實需求，不是廠商自說自話。

同一週，國產端側與開源陣營還有別的動作。小米把 MiMo-V2.6 系列開源，旗艦 Pro 版總參數 1.02 兆、啟用約 420 億、100 萬 token 上下文，走的是「遞迴自我改進」的強化學習路線，還少見地把 RL 訓練成本公開了出來。中國科學院自動化研究所聯合武漢人工智能研究院把紫東太初 ZDTaichu5.0-9B 開源，除了權重，還放出了整套空間多模態資料生產管線，從資料接入清洗到三維標註、合成校驗一應俱全。

這些專案有一個共同點：給的已經不只是模型，而是「怎麼把自有資料變成模型能力」的方法。對想在自己行業裡落地的團隊來說，後者往往更值錢。

端側究竟解決了什麼

雲端模型更聰明，這一點短期內不會變。端側的價值不在絕對能力，而在幾件很實在的事：延遲穩定、斷網可用、資料不出裝置。對做企業內部工具、醫療或工業巡檢、教育硬體的人來說，後兩條常常比多幾個基準分數更重要。

也要把差距看清楚。35B-A3B 每次啟用 30 億參數，能力大致落在中小型模型區間，跟頂級閉源模型仍不是一回事。端側無損執行解決的是「跑得動」，並不代表「跑得最好」。把它當成一個可離線、可私有、隨時待命的助理，期待值會更準。

寫在最後

過去一年，大模型競賽的主戰場是參數和榜單。而當參數戰打到一定程度，「能不能塞進使用者手裡的裝置」開始變成新的分水嶺。MiniCPM-V4.7 有意思的地方，不是它又刷新了某個分數，而是它把「端側跑 MoE」從一句口號推進到了可複現的工程方案。

端側的想像力不在於複製雲端，而在於那些雲端觸及不到的角落：地下的機房裡、沒有訊號的山上、以及不想把工作資料上傳到別處的普通崗位上。這些場景不會上熱搜，但它們才是端側模型真正的市場。