← Retour au blog
AiEnviron 8 min de lecture

WeVisOne-VL : un modèle 4B qui refuse de voir ce qui n'est pas là

Publié le 10 nov. 2026
WeVisOne-VL : un modèle 4B qui refuse de voir ce qui n'est pas là

Il y a un chiffre dans le README de WeVisOne-VL que la plupart des gens survoleront, et c'est le seul que je mettrais sur une slide : 96,4 %.

C'est le taux de rejet du modèle sur WeRef-Bench, un benchmark où la requête désigne parfois un objet absent de l'image. La baseline à laquelle il est comparé rejette dans 73,0 % des cas. Autrement dit, la baseline — un solide modèle vision-langage ouvert — trace une boîte assurée autour de quelque chose qui n'existe pas environ une fois sur quatre.

Pour une démo, c'est une curiosité. Pour un pipeline, c'est une catégorie de panne qui rend l'ensemble inutilisable. Si votre produit détoure une personne dans une photo et l'envoie à un imprimeur, 27 % de chances de détourer autre chose — ou rien — n'est pas un problème de qualité. C'est un problème de remboursement.

WeVisOne-VL est un modèle de perception de 4B, signé par l'équipe WeChat Vision de Tencent, publié le 22 octobre avec un rapport technique, des poids en 2B et 4B, un package d'inférence, des cookbooks et un pipeline d'évaluation. Apache-2.0 pour le code écrit par Tencent. Il fait sept choses : détection, localisation référencée, comptage, pointage, OCR, segmentation référencée et matting alpha piloté par prompt.

La partie intéressante n'est pas la liste. C'est l'architecture qui fait de cette liste un seul modèle au lieu de sept.

Les coordonnées comme tokens

WeVisOne-VL est bâti sur Qwen3-VL — la config le confirme : 36 couches de texte, dimension cachée 2560, un ViT de 24 couches avec des patches de 16, un vocabulaire de 152 680 tokens. Ce dernier chiffre est l'indice. Un vocabulaire Qwen3-VL standard est plus petit. Les 1 000 et quelques tokens en plus sont des coordonnées : <0> à <1000>, représentant des boîtes et des points normalisés.

La localisation n'est donc pas une tête séparée vissée sur un modèle de détection. C'est de la prédiction du token suivant. Le modèle dit « la personne est en <312><184><498><702> » comme il dirait « la personne est à gauche ». Les tâches denses émettent aussi un token d'instance — <OBJ>, ID 152678 — après chaque boîte prédite, que le décodeur utilise pour lier un objet précis à un masque précis.

Il y a ensuite un décodeur de pixels de 9,6 M de paramètres, livré sous le nom mask_decoder.pt. Il lit les positions émises plus des features ViT multi-niveaux et produit des masques et des mattes alpha en stride 1. Pas de SAM dans la boucle.

Voilà la décision de conception sur laquelle il faut s'arrêter. La réponse de l'époque 2025 à « il me faut un masque » consistait à chaîner un détecteur, puis SAM, puis un modèle de matting — trois modèles, trois modes de panne, trois jeux de poids, et un problème de transmission de coordonnées au milieu, où les boîtes sont arrondies et les masques désalignés. WeVisOne remplace la chaîne par un décodeur qui reçoit la boîte dans sa requête.

9,6 M de paramètres, c'est assez petit pour être anodin, et c'est le point. La partie chère de la segmentation n'a jamais été le décodeur. C'était l'ancrage.

A photo of a cluttered desk with thin precise bounding boxes drawn over the objects

Les benchmarks, avec la réserve qui va avec

Tous ces chiffres sont ceux de Tencent dans le README, face aux meilleures baselines ouvertes par benchmark :

Détection LVIS, F1 : 55,3 contre 50,7 pour LocateAnything-3B. Détection Dense200, F1 : 71,3 contre 58,7. Localisation référencée RefCOCOg : 81,8 contre 77,6. Précision de comptage PixMo-Count : 89,6 contre 82,8. OCR TotalText : 52,0 contre 43,3. OCR SROIE : 68,1 contre 40,3.

Sur le matting, mesuré en MAD ×10³ où plus bas est meilleur : 9,8 sur WeRefMat, contre 22,4 pour un pipeline Qwen3.5-9B plus SAM2-Matting. Sur ReasonSeg, 71,2 gIoU contre 65,0 pour un LISA-13B fine-tuné.

Qu'un modèle de 4B batte une chaîne 9B plus SAM sur le matting, voilà le titre, et c'est plausible pour la raison structurelle évoquée plus haut : la chaîne perd de l'information au passage de relais, le modèle unifié non.

La réserve est la classique. Les benchmarks d'un fournisseur mesurent les tâches choisies par ce fournisseur. Le chiffre de rejet est celui en lequel j'aurais vraiment confiance comme différenciateur, parce que le rejet est difficile à truquer — on n'atteint pas 96,4 % en étant généreux avec les boîtes.

Le faire tourner

Deux chemins, et ils ne sont pas équivalents.

Le package d'inférence. Installez depuis le dépôt GitHub, puis :

from PIL import Image
from wevisone_vl import WeVisOneVL

model = WeVisOneVL("tencent/WeVisOne-VL-4B", device="auto", dtype="bfloat16")
image = Image.open("example.jpg").convert("RGB")
result = model.predict(image, task="matting", query="person", temperature=0.0)
print(result.response, len(result.masks))

C'est le chemin complet : masques, mattes et décodeur de pixels.

Le chemin quantifié. Il existe un GGUF Q4_K_M qui tourne sur un GPU de 8 Go via llama.cpp, et un pull Ollama en une ligne. Il gère les tâches au niveau objet — boîtes, points, comptages, OCR — pour une fraction de la mémoire.

Ce qu'il ne sait pas faire, c'est produire des masques. Le build GGUF abandonne le décodeur de pixels, donc matting et segmentation disparaissent. C'est dit ouvertement dans les retours de la communauté plutôt qu'enterré, et c'est le genre de détail qui coûte un week-end à qui ne lit pas d'abord. Si vous avez besoin de mattes, il vous faut le chemin d'inférence complet et la VRAM qui va avec.

Ce qu'il ne fera pas

Image unique, tour unique. Le décodeur de pixels refuse les grilles vidéo, donc pas de suivi temporel, pas de lot d'images traité comme une séquence. Le modèle répond aussi sans chaîne de raisonnement — choix délibéré, pour la latence — ce qui veut dire qu'on ne peut pas lui demander de raisonner jusqu'à une réponse qu'il n'a pas produite directement.

Et la qualité du matting a des sensibilités déclarées : résolution de l'image, occlusion sévère, transparence complexe et formulation du prompt. La dernière est la plus honnête. « Personne » et « la personne en veste rouge » produiront des frontières alpha différentes, et aucune des deux n'est fausse.

Pourquoi ça compte au-delà du matting

La catégorie de modèle à laquelle celui-ci appartient a été sous-construite. Tout le monde a livré des modèles de conversation sur une image, parce que c'est ce que les benchmarks récompensaient et à quoi ressemblaient les démos. La perception — compter, pointer, localiser, masquer — est moins amusante à démontrer et bien plus utile en production, parce que c'est la couche entre l'intention d'un modèle de langage et une retouche de pixels réelle.

Si vous construisez un produit d'édition d'image, c'est le composant manquant. Le modèle de langage décide de retirer la lampe de la photo. Il faut quelque chose pour trouver la lampe, en produire un matte doux incluant l'ombre qu'elle projette, et le renvoyer. Jusqu'à récemment, ce « quelque chose » était une chaîne de trois modèles avec 27 % de chances d'inventer une lampe absente.

96 %, ce n'est pas parfait. C'est le premier chiffre du domaine assez haut pour construire dessus sans un humain dans la boucle à chaque appel, et c'est un type de jalon différent d'une victoire sur un benchmark.

L'intégration dont personne ne parle

Il y a un effet de second ordre qui compte si vous livrez un outil d'édition. Une fois que l'ancrage et le matting vivent dans le même modèle, la boucle raccourcit d'une manière difficile à apprécier avant d'avoir construit la version longue.

Ancienne boucle : l'utilisateur demande de retirer une lampe. Le modèle de langage transforme ça en requête. Le détecteur renvoie des boîtes. Vous en choisissez une. Vous recadrez, lancez SAM, lancez un modèle de matting, compositez. Quatre appels réseau, quatre budgets de latence, et un espace de coordonnées à réconcilier à chaque saut. Quand le résultat est faux, vous ne savez pas quel saut a cassé.

Nouvelle boucle : un appel, task = matting, query = lamp, et il revient un matte alpha. Si c'est faux, c'est faux pour une raison. Les systèmes débogables sont les systèmes que les gens continuent d'utiliser, et c'est généralement un facteur d'adoption plus déterminant qu'un gain de deux points de F1.

Le petit frère 2B compte ici aussi. Si le 4B sert à valider, le 2B est ce que vous déploierez peut-être en bout de pipeline, là où vous traitez un lot de photos produit pendant la nuit. Tencent a livré les deux dès le premier jour, ce qui est le comportement d'une équipe qui s'attend à ce que les gens mettent ça en production plutôt qu'en démo.

Articles associés