← 返回部落格
Ai預計閱讀 9 分鐘

一個 1.6B 模型不再把圖像翻成 token,還贏過那些這麼做的架構

發布於 2026年11月7日
一個 1.6B 模型不再把圖像翻成 token,還贏過那些這麼做的架構

華中科技大學(HUST)的團隊與 Horizon Robotics 合作,本月發表了一篇論文,講一個既不走全離散、也不走混合路線的多模態架構。模型叫 MF-1。它有 1.6B 參數,從零開始用 1500 億個 token 訓練,在資料與算力預算完全相同的受控比較中,同時贏過兩種已經成形的做法。

這個結果的重點不在 benchmark 數字,而在它說明了目前有多大部分的多模態訓練,其實是被架構浪費掉的。

兩條路,以及各自付出的代價

幾年來,把語言和圖像放進同一個模型有兩種做法。

全離散路線由 Chameleon 和 Emu3 採用,把圖像量化成離散 token,讓所有東西變成一個長長的整數序列、一個自迴歸目標。這很優雅,但有個硬天花板:視覺 tokenizer 在量化時會丟掉高頻細節。細緻紋理、小字、微妙的漸層,在模型看到之前就被壓平了。你可以把 tokenizer 做得更好,也有人做了,但天花板是結構性的。

混合路線由 Transfusion 和 JanusFlow 採用,文字保持離散,圖像保持連續。文字走 next-token prediction。圖像走擴散過程。這完全避開了量化瓶頸,卻製造另一個問題:模型現在要維護兩個目標函數和兩條取樣管線,要讓它們聯合優化,是工程專案而不是研究問題。每一次消融實驗都貴一倍。

兩條路都涉及把一種模態翻譯成另一種模態的格式。那正是 Multimodal Flow 拒絕的妥協。

一個目標,兩種原生格式

這個設計讓語言留在自己的連續 embedding 空間,圖像留在自己的,並讓兩者共用同一個 Flow Matching 目標。

兩道細粉末並肩落下,一道淡藍、一道暖沙色,開始彼此交織。

具體來說:文字被切成每段八個 token 的 chunk,每段由凍結的 T5-small 編碼成連續的 text hyperchunk。圖像經過凍結的 SigLIP2 編碼器,輸出成 16 乘 16 的空間網格,形成 visual hyperchunk。Hyperchunk 依任務要求以任意順序串成一個序列,送進共用的 Chunk-Causal Flow backbone。

注意力遮罩是最巧的部分。預測第 k 個 hyperchunk 時,前面所有 hyperchunk 完全可見,當前 chunk 內的位置聯合建模,後面的 chunk 被遮住。因果性維持在 chunk 的粒度上,資訊在 chunk 內自由流動。這正是為什麼一個 256 格的視覺 hyperchunk 可以生成成一張連貫的圖像,而不是 256 個獨立的決定。

第二個設計選擇是 transformer 內部的混合。注意力層共用,所以語言和視覺可以互相關注。FFN 層維持各模態專屬,因為兩者的表徵統計差異夠大,硬把它們塞進同一個前饋區塊會有損害。論文的消融實驗據稱證實了這點,這種細節能幫其他人省下三個月。

文字 chunk 長度是八個 token,這是刻意的折衷。chunk 越小,控制越細、序列位置越多。chunk 越大,因果遮罩越便宜。八是權衡落點。

數字

文生圖:GenEval 總分 0.821,DPG-Bench 長提示對齊 83.44。在 GenEval 的計數子任務上,MF-1 拿到 0.73,明顯領先同規模的統一模型。計數一直是統一架構的難堪之處,因為它需要把一個數字綁定到多個實例,而聯合建模一個視覺 chunk 顯然有幫助。

理解:VQAv2 72.6,MMBench 67.2,POPE 86.1,平均 75.3。這個平均贏過一些從預訓練語言模型初始化的同尺寸模型,這點才令人意外。從預訓練 LLM 出發通常是免費的效能。

受控比較是這篇論文值得讀的部分。相同資料、相同參數預算、相同優化器,Multimodal Flow 在 GenEval、GQA、VQAv2 和 MMBench 上都贏過 Transfusion 式的混合架構與 Chameleon 式的離散架構。不是某個 benchmark 贏一分。是整組都贏。

為什麼計數才是最關鍵的測試

在 GenEval 所有子任務裡,計數最能乾淨地把架構分開。

要求模型畫三顆紅蘋果,同時需要兩件事。它得表徵「三」這個數字,還得把這個數字綁定到三個不同的物件實例,每個實例都必須是紅的、蘋果形的。離散 token 模型傾向生出兩顆或四顆。擴散模型傾向生出一團看起來合理的東西,然後賭沒人會去數。混合系統更接近,因為圖像端是連續的,但文字端仍得交出一個能在交接中存活的基數。

MF-1 在那個子任務拿到 0.73,比 0.821 的總分更值得注意,因為總分有一部分是被顏色和簡單物件這類容易的提示撐起來的。

為什麼 1500 億 token 才是真正的重點

前沿多模態模型的訓練 token 數都在兆級。MF-1 用了 1500 億,1.6B 參數,達到 GenEval 0.821。

如果這能規模化,它會改變一個假設。目前的共識是統一多模態模型很貴,因為要把兩種模態學好需要海量資料。這篇論文暗示,那筆開銷有很大一部分是架構在為妥協付費:量化圖像損失品質,所以用更多資料買回來;維護兩個目標損失優化效率,所以用更多算力買回來。

拿掉妥協,同樣的預算就能走得更遠。這在 100 億或 1000 億參數上是否成立,沒有答案,論文也沒有這樣主張。團隊明確表示,這是一個規模、一種資料混合。

還有個二階的意涵,與今年其他工作相連。另一條研究路線一直想把 VAE 從圖像生成裡整個拿掉,理由是:把圖像壓成 latent 再解回來,會丟掉沒人要求要丟的資訊。Multimodal Flow 保留編碼器,但不再把它的輸出當成必須重新表達成語言式 token 的東西。視覺 hyperchunk 從頭到尾都保持視覺。那是同一種直覺。

這沒有解決什麼

三個值得說明的限制。

編碼器是凍結的。T5-small 和 SigLIP2 沒有和 flow backbone 聯合訓練,這意味著表徵品質的天花板定在別處。聯合訓練的編碼器大概會更好,也會貴得多。

圖像解析度在 latent 網格上是 16 乘 16,對 GenEval 夠用,對任何涉及文字渲染或細節的東西都不夠。高解析度的生成品質不是這篇論文的主題。

而且這是一個研究產物。程式碼在 GitHub 的 hustvl/Multimodal-Flow,權重是起點而不是產品,也沒有託管 API。下週不會有人拿它換掉自己的圖像管線。

它做的是縮小可能未來的空間。如果一個 1.6B 的全連續模型能在同樣預算下贏過兩種成形的統一架構,那麼下一輪多模態基礎模型就有第三個設計選項,而這個選項六個月前還不在討論裡。對一個花了很多算力在爭論 tokenizer 的領域來說,這是桌上多一個有用的東西。

相關文章