← Torna al blog
Aicirca 7 min di lettura

WeVisOne-VL: un modello da 4B che rifiuta il 96.4% delle richieste senza oggetto

Pubblicato 10 nov 2026
WeVisOne-VL: un modello da 4B che rifiuta il 96.4% delle richieste senza oggetto

C'è un numero nel README di WeVisOne-VL che quasi tutti salteranno, ed è l'unico che metterei su una slide: 96.4%.

È il tasso di rifiuto del modello su WeRef-Bench, un benchmark in cui la richiesta a volte si riferisce a un oggetto che nell'immagine non c'è. La baseline con cui viene confrontato rifiuta nel 73.0% dei casi. Cioè la baseline — un solido modello visione-linguaggio open — disegna un riquadro sicuro attorno a qualcosa che non esiste all'incirca una volta su quattro.

In una demo è una curiosità. In una pipeline è una categoria di guasto che rende il tutto inutilizzabile. Se il vostro prodotto ritaglia una persona da una foto e la passa a un fornitore di stampe, una probabilità del 27% di ritagliare la cosa sbagliata, o niente, non è un problema di qualità. È un problema di rimborsi.

WeVisOne-VL è un modello di percezione da 4B del team WeChat Vision di Tencent, rilasciato il 22 ottobre con un report tecnico, pesi a 2B e 4B, un pacchetto di inferenza, cookbook e una pipeline di valutazione. Apache-2.0 per il codice scritto da Tencent. Fa sette cose: rilevamento, localizzazione referenziale, conteggio, pointing, OCR, segmentazione referenziale e alpha matting con prompt.

La parte interessante non è la lista. È l'architettura che rende la lista un solo modello invece di sette.

Le coordinate come token

WeVisOne-VL è costruito su Qwen3-VL, e la configurazione lo conferma: 36 layer di testo, dimensione nascosta 2560, un ViT da 24 layer con patch size 16, un vocabolario da 152.680 token. È quest'ultimo numero a tradire tutto. Un vocabolario Qwen3-VL standard è più piccolo. I circa 1.000 token in più sono coordinate: da <0> a <1000>, che rappresentano riquadri e punti normalizzati.

Quindi la localizzazione non è una testa separata avvitata a un modello di rilevamento. È previsione del token successivo. Il modello dice «la persona è a <312><184><498><702>» come direbbe «la persona è a sinistra». I compiti densi emettono anche un token di istanza — <OBJ>, ID 152678 — dopo ogni riquadro previsto, che il decoder usa per legare uno specifico oggetto a una specifica maschera.

Poi c'è un pixel decoder da 9.6M parametri, distribuito come mask_decoder.pt. Legge le posizioni emesse più le feature multi-livello del ViT e produce maschere e alpha matte a stride 1. Nessun SAM nel ciclo.

È la decisione di design su cui vale la pena fermarsi. La risposta del 2025 a «mi serve una maschera» era incatenare un rilevatore a SAM a un modello di matting: tre modelli, tre modi di fallire, tre set di pesi e un problema di passaggio di coordinate nel mezzo, dove i riquadri vengono arrotondati e le maschere si disallineano. WeVisOne sostituisce la catena con un solo decoder che riceve il riquadro come parte della propria query.

9.6M parametri sono pochi abbastanza da passare inosservati, ed è esattamente il punto. La parte costosa della segmentazione non è mai stata il decoder. Era il grounding.

A photo of a cluttered desk with thin precise bounding boxes drawn over the objects

I benchmark, con l'avvertenza attaccata

Tutti questi sono numeri di Tencent dal README, contro le migliori baseline aperte per ciascun benchmark:

Rilevamento su LVIS, F1: 55.3 contro 50.7 di LocateAnything-3B. Rilevamento su Dense200, F1: 71.3 contro 58.7. Localizzazione referenziale su RefCOCOg: 81.8 contro 77.6. Accuratezza di conteggio su PixMo-Count: 89.6 contro 82.8. OCR su TotalText: 52.0 contro 43.3. OCR su SROIE: 68.1 contro 40.3.

Sul matting, misurato come MAD ×10³ dove più basso è meglio: 9.8 su WeRefMat, contro 22.4 di una pipeline Qwen3.5-9B più SAM2-Matting. Su ReasonSeg, 71.2 di gIoU contro 65.0 di un LISA-13B fine-tuned.

Un modello da 4B che batte una catena da 9B più SAM sul matting è il titolo, ed è plausibile per la ragione strutturale di sopra: la catena perde informazione nel passaggio di consegne, il modello unificato no.

L'avvertenza è quella solita. I benchmark dei fornitori misurano compiti scelti dal fornitore. Il numero sui rifiuti è quello di cui mi fiderei davvero come differenziatore, perché rifiutare è difficile da barare: non si arriva al 96.4% essendo generosi con i riquadri.

Eseguirlo

Due strade, e non sono equivalenti.

Il pacchetto di inferenza. Si installa dal repo GitHub, poi:

from PIL import Image
from wevisone_vl import WeVisOneVL

model = WeVisOneVL("tencent/WeVisOne-VL-4B", device="auto", dtype="bfloat16")
image = Image.open("example.jpg").convert("RGB")
result = model.predict(image, task="matting", query="person", temperature=0.0)
print(result.response, len(result.masks))

Questa è la via completa: maschere, matte e il pixel decoder.

La via quantizzata. C'è un GGUF Q4_K_M che gira su una GPU da 8GB tramite llama.cpp, e un pull Ollama da una riga. Gestisce i compiti a livello di oggetto — riquadri, punti, conteggi, OCR — con una frazione della memoria.

Quello che non sa fare è produrre maschere. La build GGUF rinuncia al pixel decoder, quindi matting e segmentazione spariscono. La cosa è dichiarata apertamente negli scritti della community invece che sepolta, ed è il genere di dettaglio che costa un fine settimana a chi non legge prima. Se vi servono i matte, vi serve la via di inferenza completa e la VRAM che comporta.

Quello che non farà

Una sola immagine, un solo turno. Il pixel decoder rifiuta le griglie video, quindi niente tracciamento temporale, niente batch di fotogrammi trattato come sequenza. Il modello risponde anche senza catena di pensiero — scelta deliberata, per la latenza — il che significa che non potete chiedergli di ragionare fino a una risposta che non ha prodotto direttamente.

E la qualità del matting ha sensibilità dichiarate: risoluzione dell'immagine, occlusione severa, trasparenza complessa e formulazione del prompt. Quest'ultima è quella onesta. «Persona» e «la persona con la giacca rossa» producono confini alpha diversi, e nessuno dei due è sbagliato.

Perché conta anche fuori dal matting

La categoria a cui appartiene questo modello è stata costruita poco. Tutti hanno rilasciato modelli per chattare di un'immagine, perché è quello che i benchmark premiavano e che le demo mostravano. La percezione — contare, indicare, localizzare, mascherare — è meno divertente da dimostrare e molto più utile in produzione, perché è lo strato tra l'intento di un modello linguistico e una modifica reale dei pixel.

Se state costruendo un prodotto di editing di immagini, questo è il pezzo mancante. Il modello linguistico decide di togliere la lampada dalla foto. Qualcosa deve trovare la lampada, produrne un matte morbido che includa l'ombra che proietta, e restituirlo. Fino a poco fa quel «qualcosa» era una catena di tre modelli con il 27% di probabilità di inventare una lampada che non c'è.

Il novantasei per cento non è la perfezione. È il primo numero in questo spazio abbastanza alto da costruirci sopra senza un umano nel ciclo a ogni chiamata, ed è un tipo di traguardo diverso da una vittoria su un benchmark.

L'integrazione di cui non scrive nessuno

C'è un effetto di secondo ordine che conta se spedite uno strumento di editing. Quando grounding e matting vivono nello stesso modello, il ciclo si accorcia in un modo difficile da apprezzare finché non avete costruito la versione lunga.

Vecchio ciclo: l'utente chiede di togliere una lampada. Il modello linguistico lo trasforma in una query. Il rilevatore restituisce dei riquadri. Ne scegliete uno. Ritagliate, eseguite SAM, eseguite un modello di matting, componete. Quattro chiamate di rete, quattro budget di latenza e uno spazio di coordinate da riconciliare a ogni salto. Quando il risultato è sbagliato, non sapete quale salto si è rotto.

Nuovo ciclo: una chiamata, task uguale a matting, query uguale a lampada, torna un alpha matte. Se è sbagliato, è sbagliato per una ragione. I sistemi debuggabili sono i sistemi che la gente continua a usare, e di solito è un fattore di adozione più decisivo di due punti di F1.

Anche il fratello da 2B conta, qui. Se il 4B è quello con cui validate, il 2B è quello che potreste davvero mettere in produzione al bordo di una pipeline dove lavorate un lotto di foto di prodotto durante la notte. Tencent li ha rilasciati entrambi il primo giorno, che è il comportamento di un team che si aspetta che la gente metta questo in produzione invece che in una demo.

Articoli correlati