← 返回部落格
Ai預計閱讀 8 分鐘

96.4% 的拒絕率:WeVisOne-VL 把偵測、分割、去背收進一個 4B 模型

發布於 2026年11月10日
96.4% 的拒絕率:WeVisOne-VL 把偵測、分割、去背收進一個 4B 模型

WeVisOne-VL 的 README 裡有一個數字,大多數人會滑過去,而那是唯一我會放上簡報的:96.4%。

那是這個模型在 WeRef-Bench 上的拒絕率,這個 benchmark 的查詢有時指向一張圖裡根本不存在的物件。它對比的基線拒絕率是 73.0%。意思是那個基線——一個很強的開源視覺語言模型——大約每四次就有一次,會在一個不存在的東西上畫出很有自信的框。

對一個 demo 來說,那是奇觀。對一條 pipeline 來說,那是一整類讓整個東西不能用的失敗。如果你的產品要從照片裡把人裁出來交給印刷廠,27% 的機率裁錯東西、或什麼都沒裁到,那不是品質問題。那是退款問題。

WeVisOne-VL 是騰訊微信視覺團隊的 4B 感知模型,10 月 22 日發布,附技術報告、2B 與 4B 權重、推論套件、cookbook 和評測 pipeline。騰訊撰寫的程式碼是 Apache-2.0。它做七件事:偵測、指稱定位、計數、指點、OCR、指稱分割,以及可提示的 alpha 去背。

有意思的不是這份清單,而是讓這份清單變成一個模型而不是七個的架構。

座標即 token

WeVisOne-VL 建在 Qwen3-VL 上——設定檔可以確認:36 層文字層、hidden size 2560、24 層 ViT、patch size 16、152,680 的詞彙表。最後那個數字是線索。標準 Qwen3-VL 的詞彙表比較小。多出來的一千多個 token 是座標:<0> 到 <1000>,代表正規化後的框與點。

所以定位不是另外接一個頭到偵測模型上。它是下一個 token 預測。模型說「人在 <312><184><498><702>」,就像它會說「人在左邊」。密集任務還會在每個預測框後面吐出一個實例 token——<OBJ>,ID 152678——解碼器用它把特定物件綁到特定遮罩。

然後是一個 9.6M 參數的像素解碼器,以 mask_decoder.pt 出貨。它讀取吐出的位置加上多層 ViT 特徵,產出遮罩和 stride-1 的 alpha matte。整個流程裡沒有 SAM。

那個設計決定值得停下來想。2025 年式的「我需要一個遮罩」答案是:把偵測器接到 SAM 再接到去背模型——三個模型、三種失敗模式、三套權重,中間還有一個座標交棒問題,框會被四捨五入、遮罩會對不齊。WeVisOne 用一個解碼器取代這條鏈,框直接成為它 query 的一部分。

9.6M 參數小到不值得一提,而那正是重點。分割最貴的部分從來不是解碼器,是 grounding。

A photo of a cluttered desk with thin precise bounding boxes drawn over the objects

Benchmark,附帶但書

以下都是騰訊自己在 README 裡的數字,對比各 benchmark 上最強的開源基線:

LVIS 偵測 F1:55.3,對 LocateAnything-3B 的 50.7。Dense200 偵測 F1:71.3,對 58.7。RefCOCOg 指稱定位:81.8,對 77.6。PixMo-Count 計數準確率:89.6,對 82.8。TotalText OCR:52.0,對 43.3。SROIE OCR:68.1,對 40.3。

去背以 MAD ×10³ 衡量,越低越好:WeRefMat 上 9.8,對比 Qwen3.5-9B 加 SAM2-Matting pipeline 的 22.4。ReasonSeg 上 71.2 gIoU,對比微調過的 LISA-13B 的 65.0。

一個 4B 模型在去背上贏過 9B 加 SAM 的鏈,這是頭條,而它合理,原因就是上面的結構問題:鏈在交棒時會掉資訊,統一模型不會。

但書是常見那個。廠商 benchmark 量的是廠商挑的任務。拒絕率才是我會當成差異化來信的那個數字,因為拒絕很難作弊——你沒辦法靠亂給框拿到 96.4%。

怎麼跑

兩條路,而且它們不等價。

推論套件。 從 GitHub repo 安裝,然後:

from PIL import Image
from wevisone_vl import WeVisOneVL

model = WeVisOneVL("tencent/WeVisOne-VL-4B", device="auto", dtype="bfloat16")
image = Image.open("example.jpg").convert("RGB")
result = model.predict(image, task="matting", query="person", temperature=0.0)
print(result.response, len(result.masks))

那是完整路徑:遮罩、matte,和像素解碼器。

量化路徑。 有一個 Q4_K_M GGUF,透過 llama.cpp 跑在 8GB GPU 上,還有一行 Ollama pull。它處理物件層級的任務——框、點、計數、OCR——用一小部分的記憶體。

它做不到的是產出遮罩。GGUF 版本捨掉了像素解碼器,所以去背和分割都沒了。這件事在社群文章裡是公開寫的,沒有藏起來,而這正是那種不先讀就會賠掉一個週末的事。如果你要 matte,你需要完整推論路徑,以及隨之而來的 VRAM。

它不做什麼

單張影像、單輪。像素解碼器拒絕影片網格,所以沒有時序追蹤,沒有把一批影格當序列處理。模型也不做 chain-of-thought 就回答——為了延遲而刻意如此——意思是你不能要求它推理出一個它沒有直接產生的答案。

去背品質也有明列的敏感因素:影像解析度、嚴重遮擋、複雜透明,以及提示詞的措辭。最後一項最誠實。「人」和「紅外套那個人」會產出不同的 alpha 邊界,而兩個都不算錯。

為什麼這件事超出對去背的意義

這類模型一直做得不夠。所有人都出會聊圖的模型,因為那是 benchmark 獎勵的、也是 demo 長那樣。感知——計數、指點、定位、遮罩——demo 起來沒那麼好玩,在生產裡卻有用得多,因為它是語言模型的意圖和真正的像素編輯之間那一層。

如果你在做圖像編輯產品,這就是缺的那個零件。語言模型決定把照片裡的檯燈去掉。得有東西找到那盞燈、產出包含它投下陰影的柔和 matte、再交回來。直到最近,那個「東西」是一條三模型鏈,帶著 27% 的機率發明一盞不存在的檯燈。

九十六趴不是完美。它是這個領域第一個高到可以在沒有每次都人工介入的情況下往上蓋東西的數字,而那是一種跟 benchmark 勝利不同種類的里程碑。

沒人寫的那段整合

如果你要出一個編輯工具,還有二階效應要緊。一旦 grounding 和去背住在同一個模型裡,迴圈會變短,短到你沒建過長的版本就不容易體會。

舊迴圈:使用者要求去掉一盞檯燈。語言模型把它變成一個 query。偵測器回傳框。你挑一個。你裁切、跑 SAM、跑去背模型、合成。四次網路呼叫、四份延遲預算,還有一個每一跳都要對齊的座標空間。結果錯的時候,你不知道是哪一跳壞了。

新迴圈:一次呼叫,task 等於 matting,query 等於 lamp,回來的是一張 alpha matte。如果錯了,就是為了一個原因錯。可除錯的系統是人們會繼續用的系統,而那通常比 F1 多兩分更能決定採用。

2B 的兄弟在這裡也重要。如果 4B 是你拿來驗證的,2B 就是你真正可能部署在 pipeline 邊緣、夜間批次處理一批產品照的那個。騰訊第一天就兩個都出,那是預期人們把它放進生產而不是放進 demo 的團隊行為。

相關文章