WeVisOne-VL: un modelo de 4B que rechaza el 96.4% de las consultas falsas

Hay una cifra en el README de WeVisOne-VL que casi todo el mundo pasará por alto, y es la única que yo pondría en una diapositiva: 96.4%.
Es la tasa de rechazo del modelo en WeRef-Bench, un benchmark en el que la consulta a veces se refiere a un objeto que no está en la imagen. La línea base contra la que se compara rechaza el 73.0% de las veces. Es decir, la línea base —un modelo abierto de visión y lenguaje bastante fuerte— dibuja un recuadro con total seguridad alrededor de algo que no existe aproximadamente una de cada cuatro veces.
En una demo, eso es una curiosidad. En un pipeline, es una categoría de fallo que vuelve inservible el conjunto entero. Si tu producto recorta a una persona de una foto y se la entrega a un proveedor de impresión, un 27% de probabilidad de recortar lo que no toca, o nada, no es un problema de calidad. Es un problema de devoluciones.
WeVisOne-VL es un modelo de percepción de 4B del equipo WeChat Vision de Tencent, publicado el 22 de octubre con un informe técnico, pesos de 2B y 4B, un paquete de inferencia, recetarios y un pipeline de evaluación. Apache-2.0 para el código propio de Tencent. Hace siete cosas: detección, localización por referencia, conteo, señalar con el dedo, OCR, segmentación por referencia y matting alfa con prompt.
Lo interesante no es la lista. Es la arquitectura que convierte la lista en un modelo en lugar de siete.
Coordenadas como tokens
WeVisOne-VL se construye sobre Qwen3-VL, y la configuración lo confirma: 36 capas de texto, tamaño oculto 2560, un ViT de 24 capas con parches de 16 y un vocabulario de 152.680 tokens. Esa última cifra es la pista. Un vocabulario estándar de Qwen3-VL es más pequeño. Los 1.000 y pico tokens extra son coordenadas: de <0> a <1000>, que representan cajas y puntos normalizados.
Así que la localización no es una cabeza aparte atornillada a un modelo de detección. Es predicción del siguiente token. El modelo dice «la persona está en <312><184><498><702>» igual que diría «la persona está a la izquierda». Las tareas densas emiten además un token de instancia —<OBJ>, ID 152678— después de cada caja predicha, que el decodificador usa para atar un objeto concreto a una máscara concreta.
Luego hay un decodificador de píxeles de 9.6M de parámetros, distribuido como mask_decoder.pt. Lee las posiciones emitidas más características del ViT en varios niveles y produce máscaras y mattes alfa a paso 1. Sin SAM en el bucle.
Esa es la decisión de diseño ante la que conviene detenerse. La respuesta de la era 2025 a «necesito una máscara» era encadenar un detector con SAM y con un modelo de matting: tres modelos, tres modos de fallo, tres juegos de pesos y un problema de traspaso de coordenadas en medio, donde las cajas se redondean y las máscaras se desalinean. WeVisOne sustituye la cadena por un decodificador que recibe la caja como parte de su consulta.
9.6M de parámetros es lo bastante pequeño para pasar desapercibido, y ahí está el punto. La parte cara de la segmentación nunca fue el decodificador. Era el anclaje.

Los benchmarks, con la advertencia puesta
Todas estas son cifras del propio Tencent tomadas del README, contra las mejores líneas base abiertas de cada benchmark:
Detección en LVIS, F1: 55.3 frente a 50.7 de LocateAnything-3B. Detección en Dense200, F1: 71.3 frente a 58.7. Localización por referencia en RefCOCOg: 81.8 frente a 77.6. Precisión de conteo en PixMo-Count: 89.6 frente a 82.8. OCR en TotalText: 52.0 frente a 43.3. OCR en SROIE: 68.1 frente a 40.3.
En matting, medido como MAD ×10³ donde menos es mejor: 9.8 en WeRefMat, frente a 22.4 de un pipeline de Qwen3.5-9B más SAM2-Matting. En ReasonSeg, 71.2 de gIoU frente a 65.0 de un LISA-13B afinado.
Que un modelo de 4B supere a una cadena de 9B más SAM en matting es el titular, y es plausible por la razón estructural de arriba: la cadena pierde información en el traspaso y el modelo unificado no.
La advertencia es la de siempre. Los benchmarks de proveedor miden las tareas que elige el proveedor. La cifra de rechazo es la que yo me creería como diferenciador, porque rechazar es difícil de amañar: no llegas al 96.4% siendo generoso con las cajas.
Cómo ejecutarlo
Dos caminos, y no son equivalentes.
El paquete de inferencia. Se instala desde el repositorio de GitHub y luego:
from PIL import Image
from wevisone_vl import WeVisOneVL
model = WeVisOneVL("tencent/WeVisOne-VL-4B", device="auto", dtype="bfloat16")
image = Image.open("example.jpg").convert("RGB")
result = model.predict(image, task="matting", query="person", temperature=0.0)
print(result.response, len(result.masks))
Ese es el camino completo: máscaras, mattes y el decodificador de píxeles.
El camino cuantizado. Hay un GGUF Q4_K_M que corre en una GPU de 8GB con llama.cpp, y un pull de una línea en Ollama. Maneja las tareas de nivel de objeto —cajas, puntos, conteos, OCR— con una fracción de la memoria.
Lo que no puede hacer es producir máscaras. La versión GGUF elimina el decodificador de píxeles, así que el matting y la segmentación desaparecen. Se dice abiertamente en los análisis de la comunidad en vez de esconderse, y es de esas cosas que le cuestan un fin de semana a quien no lo lea antes. Si necesitas mattes, necesitas el camino completo de inferencia y la VRAM que trae consigo.
Lo que no hará
Una imagen, un turno. El decodificador de píxeles rechaza rejillas de vídeo, así que no hay seguimiento temporal ni lotes de fotogramas tratados como secuencia. El modelo tampoco responde con cadena de pensamiento —deliberado, por latencia—, lo que significa que no puedes pedirle que razone hasta una respuesta que no produjo directamente.
Y la calidad del matting tiene sensibilidades declaradas: la resolución de la imagen, la oclusión severa, la transparencia compleja y la redacción del prompt. Esa última es la honesta. «Persona» y «la persona de la chaqueta roja» producen límites alfa distintos, y ninguno de los dos está mal.
Por qué esto importa más allá del matting
La categoría de modelo a la que pertenece esto estaba poco trabajada. Todo el mundo publicó modelos para charlar sobre una imagen, porque eso era lo que premiaban los benchmarks y lo que se veía en las demos. La percepción —contar, señalar, localizar, enmascarar— es menos divertida de demostrar y mucho más útil en producción, porque es la capa que hay entre la intención de un modelo de lenguaje y una edición real de píxeles.
Si construyes un producto de edición de imágenes, esta es la pieza que te falta. El modelo de lenguaje decide quitar la lámpara de la foto. Algo tiene que encontrar la lámpara, producir un matte suave de ella incluida la sombra que proyecta y devolverlo. Hasta hace poco, ese «algo» era una cadena de tres modelos con un 27% de probabilidad de inventarse una lámpara que no está.
El noventa y seis por ciento no es perfecto. Es la primera cifra de este campo lo bastante alta como para construir encima sin una persona en el bucle en cada llamada, y ese es un tipo de hito distinto al de ganar un benchmark.
La integración de la que nadie escribe
Hay un efecto de segundo orden que importa si publicas una herramienta de edición. Cuando el anclaje y el matting viven en el mismo modelo, el bucle se acorta de una forma difícil de valorar hasta que has construido la versión larga.
Bucle antiguo: el usuario pide quitar una lámpara. El modelo de lenguaje lo convierte en una consulta. El detector devuelve cajas. Eliges una. Recortas, ejecutas SAM, ejecutas un modelo de matting, compones. Cuatro llamadas de red, cuatro presupuestos de latencia y un espacio de coordenadas que hay que reconciliar en cada salto. Cuando el resultado está mal, no sabes qué salto se rompió.
Bucle nuevo: una llamada, tarea igual a matting, consulta igual a lámpara, y vuelve un matte alfa. Si está mal, está mal por una razón. Los sistemas depurables son los sistemas que la gente sigue usando, y eso suele pesar más en la adopción que dos puntos de F1.
El hermano de 2B también importa aquí. Si el 4B es con el que validas, el 2B es el que quizá despliegues en el borde de un pipeline donde procesas un lote de fotos de producto de madrugada. Tencent publicó los dos el primer día, que es el comportamiento de un equipo que espera que la gente ponga esto en producción y no en una demo.
Artículos relacionados
Una hoja de cálculo comunitaria de toques que apaga la publicidad de los Android chinos
No toca el sistema, no desbloquea nada, no flashea nada. Solo mueve los interruptores que los fabricantes ya dejaron a la vista. El precio es una lista que alguien tiene que seguir escribiendo.
GPT Image 2.6 mantuvo el precio por token y subió la factura
GPT Image 2.6 mantiene cada tarifa por token de 2.5 y aun así cuesta más por imagen, porque buena parte del trabajo ocurre ahora en tokens de salida. Once días después del lanzamiento, la estructura de precios dice más que el ranking.
Alguien reconstruyó IDM desde fuera y anotó lo que no tocó
Una reimplementación en Rust de Internet Download Manager promete 5 veces la velocidad y 86 idiomas. El documento más interesante es el párrafo que explica cómo se construyó sin copiar nada.
Rune es un framework de UI en Rust creado para que un agente pueda comprobar su propio trabajo
Rune renderiza sin interfaz, vuelca su árbol de elementos y acepta entrada programada, lo que da a un agente de código una señal diffeable que una captura nunca ofrece. El framework está en prelanzamiento y no acepta pull requests.