← Voltar ao blog
Aicerca de 8 min de leitura

WeVisOne-VL: 96,4% de rejeição e coordenadas tratadas como tokens

Publicado 10 de nov. de 2026
WeVisOne-VL: 96,4% de rejeição e coordenadas tratadas como tokens

Tem um número no README do WeVisOne-VL que a maioria vai deixar passar, e é o único que eu colocaria num slide: 96,4%.

É a taxa de rejeição do modelo no WeRef-Bench, um benchmark em que a consulta às vezes se refere a um objeto que não está na imagem. A linha de base com que ele é comparado rejeita 73,0% das vezes. Ou seja, a linha de base — um modelo aberto forte de visão e linguagem — desenha uma caixa confiante em volta de algo que não existe em aproximadamente uma vez a cada quatro.

Para uma demo, é curiosidade. Para um pipeline, é uma categoria de falha que torna tudo inutilizável. Se o seu produto recorta uma pessoa de uma foto e manda para uma gráfica, 27% de chance de recortar a coisa errada, ou nada, não é problema de qualidade. É problema de reembolso.

O WeVisOne-VL é um modelo de percepção de 4B do time WeChat Vision, da Tencent, lançado em 22 de outubro com relatório técnico, pesos de 2B e 4B, pacote de inferência, cookbooks e pipeline de avaliação. Apache-2.0 para o código escrito pela Tencent. Ele faz sete coisas: detecção, localização por referência, contagem, apontamento, OCR, segmentação por referência e alpha matting com prompt.

A parte interessante não é a lista. É a arquitetura que faz a lista ser um modelo em vez de sete.

Coordenadas como tokens

O WeVisOne-VL é construído sobre o Qwen3-VL — a config confirma: 36 camadas de texto, hidden size 2560, um ViT de 24 camadas com patch size 16, vocabulário de 152.680 tokens. Esse último número é a pista. O vocabulário padrão do Qwen3-VL é menor. Os mil e poucos tokens extras são coordenadas: <0> a <1000>, representando caixas e pontos normalizados.

Então localização não é uma cabeça separada parafusada num modelo de detecção. É previsão do próximo token. O modelo diz “a pessoa está em <312><184><498><702>” do mesmo jeito que diria “a pessoa está à esquerda”. Tarefas densas também emitem um token de instância — <OBJ>, ID 152678 — depois de cada caixa prevista, que o decoder usa para amarrar um objeto específico a uma máscara específica.

Depois vem um decoder de pixels de 9,6M de parâmetros, distribuído como mask_decoder.pt. Ele lê as posições emitidas mais features ViT multi-nível e produz máscaras e mattes alfa com stride 1. Sem SAM no meio.

Essa é a decisão de design que vale ruminar. A resposta da era 2025 para “preciso de uma máscara” era encadear um detector, o SAM e um modelo de matting — três modelos, três modos de falha, três conjuntos de pesos e um problema de passagem de coordenada no meio, onde caixas são arredondadas e máscaras desalinham. O WeVisOne substitui a corrente por um decoder que recebe a caixa como parte da consulta.

9,6M de parâmetros é pequeno o bastante para ser desimportante, e é esse o ponto. A parte cara da segmentação nunca foi o decoder. Foi o grounding.

A photo of a cluttered desk with thin precise bounding boxes drawn over the objects

Os benchmarks, com a ressalva anexada

Todos são números da própria Tencent no README, contra as linhas de base abertas mais fortes por benchmark:

F1 de detecção no LVIS: 55,3 contra 50,7 do LocateAnything-3B. F1 de detecção no Dense200: 71,3 contra 58,7. Localização por referência no RefCOCOg: 81,8 contra 77,6. Precisão de contagem no PixMo-Count: 89,6 contra 82,8. OCR no TotalText: 52,0 contra 43,3. OCR no SROIE: 68,1 contra 40,3.

Em matting, medido como MAD ×10³, onde menor é melhor: 9,8 no WeRefMat, contra 22,4 de um pipeline Qwen3.5-9B mais SAM2-Matting. No ReasonSeg, 71,2 de gIoU contra 65,0 de um LISA-13B ajustado.

Um modelo de 4B batendo uma corrente de 9B mais SAM em matting é a manchete, e é plausível pela razão estrutural acima: a corrente perde informação na passagem, e o modelo unificado não.

A ressalva é a de sempre. Benchmark de fornecedor mede tarefas escolhidas pelo fornecedor. O número de rejeição é o que eu realmente confiaria como diferencial, porque rejeitar é difícil de manipular — não se chega a 96,4% sendo generoso com caixas.

Rodando

Dois caminhos, e eles não são equivalentes.

O pacote de inferência. Instale do repositório no GitHub e depois:

from PIL import Image
from wevisone_vl import WeVisOneVL

model = WeVisOneVL("tencent/WeVisOne-VL-4B", device="auto", dtype="bfloat16")
image = Image.open("example.jpg").convert("RGB")
result = model.predict(image, task="matting", query="person", temperature=0.0)
print(result.response, len(result.masks))

É o caminho completo: máscaras, mattes e o decoder de pixels.

O caminho quantizado. Existe um GGUF Q4_K_M que roda numa GPU de 8GB via llama.cpp, e um pull de uma linha no Ollama. Ele dá conta das tarefas em nível de objeto — caixas, pontos, contagens, OCR — com uma fração da memória.

O que ele não faz é produzir máscaras. A build GGUF remove o decoder de pixels, então matting e segmentação desaparecem. Isso é dito abertamente nos textos da comunidade, em vez de enterrado, e é o tipo de coisa que custa um fim de semana a quem não lê antes. Se você precisa de mattes, precisa do caminho completo de inferência e da VRAM que vem com ele.

O que ele não faz

Imagem única, turno único. O decoder de pixels rejeita grades de vídeo, então não há rastreamento temporal, nem lote de frames tratado como sequência. O modelo também responde sem cadeia de raciocínio — decisão deliberada, por latência — o que significa que você não pode pedir que ele raciocine até uma resposta que não produziu direto.

E a qualidade do matting tem sensibilidades declaradas: resolução da imagem, oclusão severa, transparência complexa e formulação do prompt. A última é a mais honesta. “Pessoa” e “a pessoa de jaqueta vermelha” vão produzir fronteiras alfa diferentes, e nenhuma das duas está errada.

Por que isso importa além do matting

A categoria de modelo a que este pertence foi pouco construída. Todo mundo lançou modelo de conversa sobre imagem, porque era o que o benchmark recompensava e o que a demo mostrava. Percepção — contar, apontar, localizar, mascarar — rende menos demo e serve muito mais em produção, porque é a camada entre a intenção de um modelo de linguagem e uma edição real de pixel.

Se você constrói um produto de edição de imagem, esta é a peça que faltava. O modelo de linguagem decide remover o abajur da foto. Alguma coisa tem que achar o abajur, produzir um matte suave dele incluindo a sombra que projeta e devolver isso. Até recentemente, essa “alguma coisa” era uma corrente de três modelos com 27% de chance de inventar um abajur que não está lá.

Noventa e seis por cento não é perfeito. É o primeiro número deste espaço alto o bastante para construir em cima sem um humano no loop em cada chamada, e isso é um tipo de marco diferente de uma vitória em benchmark.

A integração sobre a qual ninguém escreve

Existe um efeito de segunda ordem que importa se você entrega ferramenta de edição. Quando grounding e matting vivem no mesmo modelo, o ciclo encurta de um jeito difícil de valorizar até você ter construído a versão longa.

Ciclo antigo: o usuário pede para remover um abajur. O modelo de linguagem transforma isso em uma consulta. O detector devolve caixas. Você escolhe uma. Você recorta, roda o SAM, roda um modelo de matting, compõe. Quatro chamadas de rede, quatro orçamentos de latência e um espaço de coordenadas que precisa ser reconciliado em cada salto. Quando o resultado está errado, você não sabe qual salto quebrou.

Ciclo novo: uma chamada, tarefa igual a matting, consulta igual a abajur, volta um matte alfa. Se estiver errado, está errado por um motivo. Sistemas depuráveis são sistemas que as pessoas continuam usando, e isso normalmente pesa mais na adoção do que dois pontos de F1.

O irmão de 2B importa aqui também. Se o 4B é com o que você valida, o 2B é o que você talvez coloque de fato na borda de um pipeline que processa um lote de fotos de produto durante a noite. A Tencent entregou os dois no primeiro dia, que é o comportamento de um time que espera ver isso em produção, não em demo.

Artigos relacionados