用公開資料重做一個閉源視覺模型,紐倫堡團隊在 Cityscapes 上小幅超前

一個研究團隊只用公開模型和公開資料,重做了一個閉源視覺模型,而且在至少一個基準上還超前了。
這個數字是 9B 模型在 Cityscapes 上零樣本跑出的 73.9 mIoU,Vision Banana 公布的是 69.9。這組對比就是標題的由來,不過真正有用的是對比底下的那些細節。
做了什麼
Open Vision Banana 出自紐倫堡理工大學 Fundamental AI Lab,合作單位包括 DLR、AIST、圖賓根大學、TUM 和 valeo.ai。做法是拿現成的開放權重生成模型 FLUX.2-Klein 做微調,4B 和 9B 兩個規模都做了,訓練對數量在 210 萬到 380 萬之間,素材來自 COCO-Stuff、ADE20K、BDD100K、NYUv2 這些公開資料集。
定位很關鍵。這是把一個生成模型改去做感知,深度、分割、指代、推理這些任務都要接,同時保留它原本的影像編輯能力。微調之後基座的生成本領還在,所以這批結果的意義超出了分割分數。
73.9 這個數字得加個註腳
Cityscapes 上那個零樣本成績,依賴作者提出並命名的一項技術:legend ensembling。
單次前向只有 65.4 mIoU。到 73.9 的那段差距,來自用不同的顏色對類別映射表把模型多跑幾遍,再依像素做多數投票融合。這一招在 Cityscapes 上加了 8.7 個點,在 COCO-Object 上加了 15.0 個點。
所以老實讀這個標題,結論是模型得跑好幾次才夠得著那個數字,而方法帶來的收益取決於任務本身吃不吃投票這一套。要是管線對延遲敏感、只給一次前向的預算,你拿到的是 65.4。
這算不上對論文的批評。兩個數字作者都報了,很多基準表格做不到這一點。它提醒的是另一件事:看到一個 mIoU 數字、卻沒看到成本那一欄時,該怎麼讀。
差距在哪裡變大
分割上的勝利沒有複製到所有任務,論文自己也這麼說。
在指代分割和推理分割上,非零樣本的幾個變體跟 Vision Banana 差在 5 個點以內。實例分割就明顯落後了:SA-Co/Gold 上是 37.4 cgF1,對手 47.5。
深度估計方面,作者的說法是可以與目前最好的仿射不變深度估計器相提並論。在一個擁擠的賽道裡,這是相當謹慎的持平表述。
整體畫面就是:在作者重點最佳化的任務上,它追平甚至超過了閉源基準;兩個相鄰任務上很接近;實例級區分上掉隊。一個像樣的重現大概就長這樣。要是什麼都贏,反而可疑。
真正的貢獻是開源
學術界的重現通常只交一篇論文,別的沒了。這一份把資料管線、訓練和評測程式碼、最終檢查點和中介檢查點全放了出來。
這樣組合起來,結果才是可核查的。有中介檢查點,你能看到模型是先學會深度還是先學會分割,也能從更早的權重接著微調,不必付一整輪訓練的帳。
算力成本也寫了,這點很少見。4B 模型大約 73 小時、16 張 GH200;9B 大約 79 小時、32 張 GH200。
這些數字決定了誰能複製。16 張 GH200 差不多是一所大學叢集或經費充裕實驗室的量級,筆電上跑不動。32 張是正經的配額。配方公開不等於便宜,4B 版本幾乎和 9B 一樣能打,這點才讓它夠得著:兩個 GH200 節點跑三天,寫進經費申請裡就行,用不著自建機房。
重現閉源模型為什麼重要
Vision Banana 最初的結果之所以有意思,恰恰因為公司之外沒人能驗。現在有了一個在多數任務上差幾個點、在一個任務上領先的重現,那些結果的性質就從「一個說法」變成了「一個靶子」。
還有個常被忽略的連帶效應。當閉源模型的評測被搬到開放權重上重做,比較的對象就變成了訓練資料和訓練方法,不再是參數量。9B 模型能追平一個閉源系統,說明閉源的優勢落在資料配比和任務定義上,而這兩樣恰好是可以複製的。
大部分功夫花在資料集建構上。COCO-Stuff、ADE20K、BDD100K、NYUv2 都是公開的,標註目的各不相同,沒有一個是為了訓練一個同時處理深度、分割和編輯的統一模型而造的。要從裡面拼出 210 萬到 380 萬對,就得對齊彼此不一致的標籤空間,這活兒不體面,估計也吞掉了大部分精力。
如果這套配方能遷移,下一個問題就是同樣的招數對別的閉源感知模型管不管用。模式本身很通用:找一個強的開放生成模型,在一個大規模拼裝出來的監督集上微調,跨多個任務評測,讓短板露出來。這條路不需要任何新架構,所以對那些護城河是「未公開訓練配比」的人來說,它才顯得刺眼。
第三個效應:基座是個生成模型。同一套權重如果既能做深度、分割,又能做編輯,那生產管線就可以用一份檢查點換掉三個專用模型加一個編輯模型,代價是最難的實例級任務上掉一點精度。這個取捨要在你自己的資料上量,別在 Cityscapes 上量。
能帶走什麼
真正能帶走的是這個結論的結構,73.9 只是外殼:重現它,誠實報告每個任務的差距,放出中間產物,寫清算力。
看到「打敗閉源模型」這類標題,可以用同樣三個問題過一遍。這個數字裡有沒有測試時的技巧,代價是多少。這個勝利在模型沒針對最佳化的任務上還站得住嗎。算力少一些的人,用公開的配方能不能也做到只差幾個點。
Open Vision Banana 在正文裡把這三個問題都答了,所以這篇論文值得越過摘要往下讀。
它留了一個問題沒答,而這恰恰是買單的人會問的。論文證明了公開資料加公開基座可以重現一個閉源系統的基準數字。它沒證明這套重現在產品真正會遇到的那些髒輸入上有用:光線很差的照片、截圖再截圖、文字烙進畫面的圖、比訓練分布小得多的裁切。Cityscapes 這類基準天生乾淨。
下一輪比較會發生在那個空隙裡,而開放檢查點在這裡比閉源的有優勢。誰都能明天就在自己的資料上試一遍。