一家中國 GPU 廠商公布了訓練數據,卻沒交代對標的是誰

11 月 6 日,在中國一場通訊產業會議上,摩爾線程(Moore Threads)公布了 MTTS5000 平台的一組訓練結果。核心指標具體到原則上可以核驗:一個 2360 億參數的混合專家模型從零開始訓練,語料超過 25 兆 token,MMLU 成績與國際主流算力卡持平,有效訓練時間超過 90%。這幾項湊在一起,等於把訓練這件事的四個面都點了一遍:模型多大、資料多少、效果如何、跑得穩不穩。
平台跑在 PH100 晶片上,摩爾線程稱這批晶片是首批通過國家資訊安全評測的產品,搭配的是 MUSA 軟體堆疊。晶片和軟體堆疊一起發布,是國產算力廠商這幾年的標準動作,也是這類公告裡最難核實的那一部分。
可以拆的東西很多,缺口也很大。所有數字都是自報的,對標對象只被描述成國際主流訓練 GPU,沒有點名任何型號。這個說法可以從當下的旗艦一直涵蓋到三年前的舊卡,跨度足夠讓同一個倍數在兩種情況下都成立。基準沒有名字和配置之前,那些倍數只是宣傳。
不過,有些說法比吞吐倍數更有資訊量,有一條尤其值得看。
真正重要的那個數字
有效訓練時間超過 90%,是這份公告裡最不亮眼、也最能說明問題的數字。它衡量的是叢集把多少實際時間花在幹活上,而不是花在等待上:等一個故障節點、等 checkpoint 落盤、等網路恢復、等作業重啟。跨度幾個月的訓練裡,這些等待會一分一秒地累積,最後決定這次訓練是三週跑完還是五週跑完。

峰值 FLOPS 是規格表上的數字,有效訓練時間則是維運數字。大叢集規模一上去就容易偏離理論利用率,幾千張卡同步跑一個大模型,最慢的那一步決定整步的耗時。原因很少出在晶片上。排程器怎麼排、互聯穩不穩、故障復原快不快,這套堆疊有多少是廠商自己寫的、有多少是借來的,才是關鍵。
一套國產堆疊能在 2360 億參數 MoE 的從零訓練裡維持 90%,這比矩陣乘快多少難證明得多。它說的是那些無聊的部分能跑通。真假是另一個問題,但方向選對了:願意談這個數字,說明團隊知道瓶頸在哪。
把叢集壓到 90% 以下的故障模式都有據可查,而且沒有一個是光鮮的:一張拖後腿的 GPU 讓整個同步步變慢,一次 checkpoint 寫入讓訓練停幾分鐘,一張在所有歸約流量下退化的網路,一個讓卡在作業之間空轉的排程器。修這些是軟體活,按工程師年計,而且恰恰是規格表展示不了的那部分。它也最能區分一套堆疊是長期跟自己人較勁磨出來的,還是照著文件拼起來的。
從零訓練為什麼重要
大多數國產加速卡的發布講的是微調或推論,因為這兩件事容易,出結果也快。用隨機初始化在 25 兆 token 上訓一個 2360 億參數的 MoE,是另一個量級的說法:連續數月執行、規模化的 checkpoint 管理,以及一條要嘛收斂要嘛不收斂的 loss 曲線。中間任何一個環節出岔子,前面幾週都白跑。
MMLU 持平是個很弱的代理指標。它已經飽和,模型可以沿著完全不同的訓練路徑落到差不多的分數。它能確認的是這次訓練沒崩。一個壞掉的分散式訓練作業,產不出分數落在正常區間裡的模型。換句話說,這條證據只能否掉失敗,證明不了優秀。
公告裡另外兩項比 MMLU 有意思。摩爾線程稱同一套堆疊原生訓練了北京大學的世界模型 EvoPhys-World5D,該模型在史丹佛 WorldScore 的世界生成維度上連續 37 天保持第一。它還說端到端支援了北京智源人工智能研究院的具身模型 RoboBrain2.5 的訓練。世界模型和具身模型都不是標準 transformer 那一套,對記憶體和通訊模式的要求更偏門。
這些是有明確歸屬方的第三方負載,比自家跑分更容易被證偽。如果模型確實存在、榜單名次確實為真,那這個叢集確實幹成了事。
自動駕駛那項說法
唯一掛了具體負載的倍數是自動駕駛的 BEV 感知:單機和雙機訓練吞吐達到國際主流訓練 GPU 的 1.56 到 1.67 倍。兩個場景一起給,比只給一個峰值誠實,至少透露了擴展性的走向。
感知模型是個公平的考題。它們中等規模、吃資料,對記憶體頻寬和互聯敏感,正好是新架構能贏也能輸的地方。在這個負載上,一套調好的堆疊對上一張舊卡,1.6 倍是可信的;對上一張當前最強的卡,在沒交代 batch size 和精度的情況下,就不可信。感知訓練還有個特點:瓶頸常常落在資料管線上,壓測時稍不留神就把 IO 時間算進了加速比。
這些背景一個字都沒給。
什麼能讓它可信
三項披露就能定掉大半。
說出基準型號、記憶體配置和互聯拓撲。沒有這些的吞吐對比算不上對比,最多算一次內部回歸測試的結果。
公布 2360 億那次訓練的 loss 曲線和 token 級吞吐,而不是只給一個最終的 MMLU。訓練效率在曲線上出現的時間,遠早於它出現在跑分上。曲線還藏不住中途崩過幾次、回滾過幾個 checkpoint。
再說清訓練程式碼裡 MUSA 原生寫的佔多少、從 CUDA 移植的佔多少。移植沒問題。把移植說成原生是另一種說法,而企業規劃遷移時在意的恰恰是這一條,它直接決定要投多少人。
這些問題都不算刁難。任何買訓練叢集的人在簽字前都會問,只是答案通常寫在 NDA 裡,而不是寫在主題演講裡。
廠商公布哪些數字是有原因的。中國的企業買家沒法自己給競爭產品跑分,因為對比需要兩張平台擺進同一個機房,而出口管制讓這個機房很難湊齊。在這個真空裡,廠商的簡報就成了參考文件,一個在足夠多場會議上重複過的說法開始起到事實的作用。這在任何市場都成立,只是在中國,填這個空白的成本更高。
這個缺口,就是採購決策和新聞稿之間的距離。
戰略層面的解讀
中國的國產加速卡故事走過了三個階段:能不能跑推論,能不能微調,能不能訓練。這份公告是想把第三階段補上。有意思的細節在於,說法現在掛在一整次大 MoE 訓練上,而不是一個跑分核心。核心可以特調,一次幾個月的訓練沒法特調。
如果這些數字經得起第三方複現,實際後果會超出輝達少賣一單:中國的實驗室可以在不需要出口許可的情況下規劃一次前沿規模的訓練。相較價格,規劃週期受到的影響更大。對採購的人來說,要在預算表上重算的那一欄是時間,不是單價。
如果經不起,這份公告仍然標記了一件事:宣傳的重心從推論上的對等,轉向了訓練上的對等。這個說法更難往回收,下一批數字會被拿來對照它讀。
相關文章
一份社群維護的點擊表,關掉了中國品牌 Android 系統裡的廣告
它不動系統,不解鎖,不刷機,只把廠商本來就留出來的開關一個個撥過去。代價是這份名單得一直有人續寫。
GPT Image 2.6 守住 token 價格,帳單卻變貴了
GPT Image 2.6 沿用 2.5 的全部 token 費率,每張圖卻更貴,因為更多工作現在花在輸出 token 上。上線十一天,定價結構說得比排行榜更多。
有人從外部重寫了 IDM,並寫下自己沒碰過的部分
Mister Download Manager 用 Rust 重寫了 Internet Download Manager 的下載流程,聲稱速度快 5 倍、支援 86 種語言。更值得細讀的,是它解釋如何在不複製任何程式碼的前提下完成重寫的那一段。
Rune 是一個 Rust UI 框架,設計初衷是讓 agent 能檢查自己的工作
Rune 能無頭繪製、匯出元素樹並接受腳本化輸入,這讓編碼 agent 拿到截圖永遠給不了的東西,一個可 diff 的訊號。這個框架仍是預先發布版,不接受 pull request。