WeVisOne-VL: 96,4% de rejeição e coordenadas tratadas como tokens

Tem um número no README do WeVisOne-VL que a maioria vai deixar passar, e é o único que eu colocaria num slide: 96,4%.
É a taxa de rejeição do modelo no WeRef-Bench, um benchmark em que a consulta às vezes se refere a um objeto que não está na imagem. A linha de base com que ele é comparado rejeita 73,0% das vezes. Ou seja, a linha de base — um modelo aberto forte de visão e linguagem — desenha uma caixa confiante em volta de algo que não existe em aproximadamente uma vez a cada quatro.
Para uma demo, é curiosidade. Para um pipeline, é uma categoria de falha que torna tudo inutilizável. Se o seu produto recorta uma pessoa de uma foto e manda para uma gráfica, 27% de chance de recortar a coisa errada, ou nada, não é problema de qualidade. É problema de reembolso.
O WeVisOne-VL é um modelo de percepção de 4B do time WeChat Vision, da Tencent, lançado em 22 de outubro com relatório técnico, pesos de 2B e 4B, pacote de inferência, cookbooks e pipeline de avaliação. Apache-2.0 para o código escrito pela Tencent. Ele faz sete coisas: detecção, localização por referência, contagem, apontamento, OCR, segmentação por referência e alpha matting com prompt.
A parte interessante não é a lista. É a arquitetura que faz a lista ser um modelo em vez de sete.
Coordenadas como tokens
O WeVisOne-VL é construído sobre o Qwen3-VL — a config confirma: 36 camadas de texto, hidden size 2560, um ViT de 24 camadas com patch size 16, vocabulário de 152.680 tokens. Esse último número é a pista. O vocabulário padrão do Qwen3-VL é menor. Os mil e poucos tokens extras são coordenadas: <0> a <1000>, representando caixas e pontos normalizados.
Então localização não é uma cabeça separada parafusada num modelo de detecção. É previsão do próximo token. O modelo diz “a pessoa está em <312><184><498><702>” do mesmo jeito que diria “a pessoa está à esquerda”. Tarefas densas também emitem um token de instância — <OBJ>, ID 152678 — depois de cada caixa prevista, que o decoder usa para amarrar um objeto específico a uma máscara específica.
Depois vem um decoder de pixels de 9,6M de parâmetros, distribuído como mask_decoder.pt. Ele lê as posições emitidas mais features ViT multi-nível e produz máscaras e mattes alfa com stride 1. Sem SAM no meio.
Essa é a decisão de design que vale ruminar. A resposta da era 2025 para “preciso de uma máscara” era encadear um detector, o SAM e um modelo de matting — três modelos, três modos de falha, três conjuntos de pesos e um problema de passagem de coordenada no meio, onde caixas são arredondadas e máscaras desalinham. O WeVisOne substitui a corrente por um decoder que recebe a caixa como parte da consulta.
9,6M de parâmetros é pequeno o bastante para ser desimportante, e é esse o ponto. A parte cara da segmentação nunca foi o decoder. Foi o grounding.

Os benchmarks, com a ressalva anexada
Todos são números da própria Tencent no README, contra as linhas de base abertas mais fortes por benchmark:
F1 de detecção no LVIS: 55,3 contra 50,7 do LocateAnything-3B. F1 de detecção no Dense200: 71,3 contra 58,7. Localização por referência no RefCOCOg: 81,8 contra 77,6. Precisão de contagem no PixMo-Count: 89,6 contra 82,8. OCR no TotalText: 52,0 contra 43,3. OCR no SROIE: 68,1 contra 40,3.
Em matting, medido como MAD ×10³, onde menor é melhor: 9,8 no WeRefMat, contra 22,4 de um pipeline Qwen3.5-9B mais SAM2-Matting. No ReasonSeg, 71,2 de gIoU contra 65,0 de um LISA-13B ajustado.
Um modelo de 4B batendo uma corrente de 9B mais SAM em matting é a manchete, e é plausível pela razão estrutural acima: a corrente perde informação na passagem, e o modelo unificado não.
A ressalva é a de sempre. Benchmark de fornecedor mede tarefas escolhidas pelo fornecedor. O número de rejeição é o que eu realmente confiaria como diferencial, porque rejeitar é difícil de manipular — não se chega a 96,4% sendo generoso com caixas.
Rodando
Dois caminhos, e eles não são equivalentes.
O pacote de inferência. Instale do repositório no GitHub e depois:
from PIL import Image
from wevisone_vl import WeVisOneVL
model = WeVisOneVL("tencent/WeVisOne-VL-4B", device="auto", dtype="bfloat16")
image = Image.open("example.jpg").convert("RGB")
result = model.predict(image, task="matting", query="person", temperature=0.0)
print(result.response, len(result.masks))
É o caminho completo: máscaras, mattes e o decoder de pixels.
O caminho quantizado. Existe um GGUF Q4_K_M que roda numa GPU de 8GB via llama.cpp, e um pull de uma linha no Ollama. Ele dá conta das tarefas em nível de objeto — caixas, pontos, contagens, OCR — com uma fração da memória.
O que ele não faz é produzir máscaras. A build GGUF remove o decoder de pixels, então matting e segmentação desaparecem. Isso é dito abertamente nos textos da comunidade, em vez de enterrado, e é o tipo de coisa que custa um fim de semana a quem não lê antes. Se você precisa de mattes, precisa do caminho completo de inferência e da VRAM que vem com ele.
O que ele não faz
Imagem única, turno único. O decoder de pixels rejeita grades de vídeo, então não há rastreamento temporal, nem lote de frames tratado como sequência. O modelo também responde sem cadeia de raciocínio — decisão deliberada, por latência — o que significa que você não pode pedir que ele raciocine até uma resposta que não produziu direto.
E a qualidade do matting tem sensibilidades declaradas: resolução da imagem, oclusão severa, transparência complexa e formulação do prompt. A última é a mais honesta. “Pessoa” e “a pessoa de jaqueta vermelha” vão produzir fronteiras alfa diferentes, e nenhuma das duas está errada.
Por que isso importa além do matting
A categoria de modelo a que este pertence foi pouco construída. Todo mundo lançou modelo de conversa sobre imagem, porque era o que o benchmark recompensava e o que a demo mostrava. Percepção — contar, apontar, localizar, mascarar — rende menos demo e serve muito mais em produção, porque é a camada entre a intenção de um modelo de linguagem e uma edição real de pixel.
Se você constrói um produto de edição de imagem, esta é a peça que faltava. O modelo de linguagem decide remover o abajur da foto. Alguma coisa tem que achar o abajur, produzir um matte suave dele incluindo a sombra que projeta e devolver isso. Até recentemente, essa “alguma coisa” era uma corrente de três modelos com 27% de chance de inventar um abajur que não está lá.
Noventa e seis por cento não é perfeito. É o primeiro número deste espaço alto o bastante para construir em cima sem um humano no loop em cada chamada, e isso é um tipo de marco diferente de uma vitória em benchmark.
A integração sobre a qual ninguém escreve
Existe um efeito de segunda ordem que importa se você entrega ferramenta de edição. Quando grounding e matting vivem no mesmo modelo, o ciclo encurta de um jeito difícil de valorizar até você ter construído a versão longa.
Ciclo antigo: o usuário pede para remover um abajur. O modelo de linguagem transforma isso em uma consulta. O detector devolve caixas. Você escolhe uma. Você recorta, roda o SAM, roda um modelo de matting, compõe. Quatro chamadas de rede, quatro orçamentos de latência e um espaço de coordenadas que precisa ser reconciliado em cada salto. Quando o resultado está errado, você não sabe qual salto quebrou.
Ciclo novo: uma chamada, tarefa igual a matting, consulta igual a abajur, volta um matte alfa. Se estiver errado, está errado por um motivo. Sistemas depuráveis são sistemas que as pessoas continuam usando, e isso normalmente pesa mais na adoção do que dois pontos de F1.
O irmão de 2B importa aqui também. Se o 4B é com o que você valida, o 2B é o que você talvez coloque de fato na borda de um pipeline que processa um lote de fotos de produto durante a noite. A Tencent entregou os dois no primeiro dia, que é o comportamento de um time que espera ver isso em produção, não em demo.
Artigos relacionados
Uma planilha comunitária de toques que desliga os anúncios dos Android chineses
Não mexe no sistema, não desbloqueia nada, não faz flash de nada. Só vira os botões que os fabricantes já deixaram à mostra. O preço é uma lista que alguém precisa continuar escrevendo.
GPT Image 2.6 manteve o preço por token e elevou a fatura
O GPT Image 2.6 mantém cada tarifa por token do 2.5 e mesmo assim custa mais por imagem, porque boa parte do trabalho acontece agora nos tokens de saída. Onze dias após o lançamento, a estrutura de preços diz mais que o ranking.
Alguém reconstruiu o IDM por fora e anotou o que não tocou
Uma reimplementação em Rust do Internet Download Manager promete 5 vezes a velocidade e 86 idiomas. O documento mais interessante é o parágrafo que explica como ela foi feita sem copiar nada.
Rune é um framework de UI em Rust feito para que um agente possa verificar o próprio trabalho
Rune renderiza sem interface, despeja sua árvore de elementos e aceita entrada roteirizada, o que dá a um agente de código um sinal diffável que um screenshot nunca oferece. O framework está em pré-lançamento e não aceita pull requests.