← 返回博客
Ai预计阅读 8 分钟

一个会说「没有」的 4B 感知模型,抠图不用 SAM

发布于 2026年11月10日
一个会说「没有」的 4B 感知模型,抠图不用 SAM

WeVisOne-VL 的 README 里有个多数人会划过去的数字,也是我唯一会放上幻灯片的一个:96.4%。

那是模型在 WeRef-Bench 上的拒识率。这个 benchmark 里,查询有时指向图里根本不存在的物体。用来对比的基线拒识率是 73.0%。也就是说,那个基线——一个很强的开源视觉语言模型——大约每四次就有一次,自信地在一个不存在的东西周围画出框。

对演示,这是趣闻。对流水线,这是让整套东西不可用的一类失败。如果你的产品要从照片里抠出一个人交给印刷厂,27% 的概率抠错、或者什么也没抠到,就不是质量问题。是退款问题。

WeVisOne-VL 是腾讯微信视觉团队的 4B 感知模型,10 月 22 日发布,带技术报告、2B 和 4B 权重、一个推理包、cookbook、一套评测流水线。腾讯自己写的代码是 Apache-2.0。它做七件事:检测、指代定位、计数、指向、OCR、指代分割、可提示的 alpha 抠图。

有意思的不是那张清单。是让它成「一个模型」而不是七个的架构。

坐标就是 token

WeVisOne-VL 建在 Qwen3-VL 上——配置能确认:36 层文本、hidden size 2560、24 层 ViT、patch size 16、152,680 的 vocab。最后一个数字是线索。标准 Qwen3-VL 的词表更小。多出来的那一千来个 token 是坐标:从 <0> 到 <1000>,表示归一化的框和点。

所以定位不是焊在检测模型上的一个单独头。它是 next-token prediction。模型说「人在 <312><184><498><702>」,就像它说「人在左边」。密集任务还会在每个预测框之后吐一个实例 token——<OBJ>,ID 152678——解码器用它把某个具体物体绑到某张具体的 mask 上。

然后是一个 960 万参数的像素解码器,以 mask_decoder.pt 交付。它读吐出来的位置加上多层 ViT 特征,产出 mask 和 stride-1 的 alpha matte。回路里没有 SAM。

这个设计决定值得坐下来想一会。2025 年那套对「我要一张 mask」的答案是:检测器接 SAM 接抠图模型——三个模型、三种失败模式、三套权重,中间还有一个坐标交接问题,框被四舍五入、mask 对不齐。WeVisOne 把这条链换成一个解码器,框作为它 query 的一部分直接送进去。

960 万参数小到不起眼,这正是重点。分割里贵的从来不是解码器。是 grounding。

A photo of a cluttered desk with thin precise bounding boxes drawn over the objects

benchmark,附带说明

以下全是腾讯 README 里的自家数字,对比的是各 benchmark 上最强的开源基线:

LVIS 检测 F1:55.3,对比 LocateAnything-3B 的 50.7。Dense200 检测 F1:71.3,对比 58.7。RefCOCOg 指代定位:81.8,对比 77.6。PixMo-Count 计数准确率:89.6,对比 82.8。TotalText OCR:52.0,对比 43.3。SROIE OCR:68.1,对比 40.3。

抠图上,用 MAD ×10³ 衡量,越低越好:WeRefMat 上是 9.8,对比 Qwen3.5-9B 加 SAM2-Matting 流水线的 22.4。ReasonSeg 上 71.2 gIoU,对比微调过的 LISA-13B 的 65.0。

一个 4B 模型在抠图上打赢 9B 加 SAM 的链,是标题,而且从上面那个结构性原因看是说得通的:链在交接处丢信息,统一模型不丢。

说明照例有一条。厂商 benchmark 测的是厂商挑的任务。拒识那个数字才是我真会当作差异点的,因为「拒识」很难做假——你没法靠乱框框到 96.4%。

跑起来

两条路,而且它们不等价。

推理包。 从 GitHub 仓库装,然后:

from PIL import Image
from wevisone_vl import WeVisOneVL

model = WeVisOneVL("tencent/WeVisOne-VL-4B", device="auto", dtype="bfloat16")
image = Image.open("example.jpg").convert("RGB")
result = model.predict(image, task="matting", query="person", temperature=0.0)
print(result.response, len(result.masks))

这是完整路径:mask、matte、像素解码器都在。

量化那条路。 有个 Q4_K_M GGUF,通过 llama.cpp 跑在 8GB 显卡上,还有一行 Ollama pull。它处理物体级任务——框、点、计数、OCR——显存只占一小部分。

它不能出 mask。GGUF 构建把像素解码器去掉了,所以抠图和分割都没了。这一点在社区文章里是明写的,不是埋着的,但没先读的人会搭进去一个周末。要 matte,就要走完整推理路径,加上随之而来的显存。

它不做的事

单图、单轮。像素解码器拒绝视频网格,所以没有时序跟踪,没有把一批帧当序列处理。模型也不做思维链——为了延迟有意如此——意味着你不能让它推理出一个它没有直接给出的答案。

抠图质量还标了敏感项:图像分辨率、严重遮挡、复杂透明、提示词措辞。最后一条最老实。「人」和「穿红夹克的那个人」会给出不同的 alpha 边界,而两个都不算错。

为什么它不只关乎抠图

这类模型一直被建得太少。大家都发了「聊一张图」的模型,因为 benchmark 奖励那个,演示也长那样。感知——计数、指向、定位、出 mask——演示起来没那么好玩,在生产里有用地多,因为它是语言模型的意图和真实像素编辑之间那一层。

如果你在做图像编辑产品,这就是缺的那块。语言模型决定把照片里的台灯去掉。得有东西找到台灯、给它出一张带投影的软 matte,再交回来。直到最近,这个「东西」是一条三个模型的链,有 27% 的概率凭空造出一盏不存在的台灯。

96% 不是完美。它是这个方向上第一个高到可以不每次调用都放个人的数字,而这和赢一个 benchmark 是两种不同的里程碑。

没人写的那部分集成

还有一个二阶效应,如果你要交付编辑工具,它很要紧。当 grounding 和抠图活在同一个模型里,回路变短的方式,你不搭过长版本是体会不到的。

旧回路:用户要求去掉台灯。语言模型把它变成一句查询。检测器返回框。你挑一个。你裁切、跑 SAM、跑抠图模型、合成。四次网络调用、四份延迟预算,还有一个每一跳都得对齐的坐标空间。结果错的时候,你不知道是哪一跳坏的。

新回路:一次调用,task 等于 matting,query 等于 lamp,回来一张 alpha matte。错就错在一个原因。可调试的系统是人会一直用的系统,这通常比两个点的 F1 提升更能决定采用率。

2B 那个兄弟在这里也重要。4B 是你用来验证的,2B 是你可能真会部署在流水线边缘的——比如夜里批处理一批产品照片。腾讯第一天就两个都发了,那是一个期待你把它放进生产而不是放进演示的团队的行为。

相关文章