← Zurück zum Blog
Aica. 7 Min. Lesezeit

WeVisOne-VL: ein 4B-Modell macht Koordinaten zu Tokens

Veröffentlicht 10. Nov. 2026
WeVisOne-VL: ein 4B-Modell macht Koordinaten zu Tokens

In der README von WeVisOne-VL steht eine Zahl, über die die meisten hinweglesen werden, und es ist die einzige, die ich auf eine Folie setzen würde: 96.4%.

Das ist die Ablehnungsrate des Modells auf WeRef-Bench, einem Benchmark, in dem die Anfrage manchmal auf ein Objekt zeigt, das gar nicht im Bild ist. Die Vergleichsbasis lehnt in 73.0% der Fälle ab. Das heißt: Die Baseline – ein starkes offenes Vision-Language-Modell – zieht ungefähr in einem von vier Fällen eine sichere Box um etwas, das nicht existiert.

Für eine Demo ist das eine Kuriosität. Für eine Pipeline ist es eine Fehlerklasse, die das Ganze unbrauchbar macht. Wenn Ihr Produkt eine Person aus einem Foto freistellt und an einen Druckdienstleister gibt, sind 27% Chance, das Falsche oder gar nichts freizustellen, kein Qualitätsproblem. Es ist ein Rückerstattungsproblem.

WeVisOne-VL ist ein 4B-Wahrnehmungsmodell aus dem WeChat-Vision-Team von Tencent, am 22. Oktober mit technischem Report veröffentlicht, mit Gewichten in 2B und 4B, einem Inferenzpaket, Cookbooks und einer Evaluationspipeline. Apache-2.0 für von Tencent geschriebenen Code. Es kann sieben Dinge: Detektion, Referring Localization, Zählen, Pointing, OCR, Referring Segmentation und promptbares Alpha-Matting.

Das Interessante ist nicht die Liste. Es ist die Architektur, die aus der Liste ein Modell macht statt sieben.

Koordinaten als Tokens

WeVisOne-VL baut auf Qwen3-VL – die Config bestätigt es: 36 Text-Layer, Hidden Size 2560, ein 24-Layer-ViT mit Patch-Größe 16, ein Vokabular von 152,680 Tokens. Die letzte Zahl ist der Hinweis. Ein Standard-Qwen3-VL-Vokabular ist kleiner. Die gut 1,000 zusätzlichen Tokens sind Koordinaten: <0> bis <1000>, die normalisierte Boxen und Punkte repräsentieren.

Lokalisierung ist also kein eigener Kopf, der an ein Detektionsmodell geschraubt wird. Es ist Next-Token-Vorhersage. Das Modell sagt „die Person ist bei <312><184><498><702>“ so, wie es sagen würde „die Person ist links“. Dichte Aufgaben geben zusätzlich ein Instance-Token aus – <OBJ>, ID 152678 – nach jeder vorhergesagten Box, das der Decoder nutzt, um ein bestimmtes Objekt an eine bestimmte Maske zu binden.

Dazu kommt ein Pixel-Decoder mit 9.6M Parametern, ausgeliefert als mask_decoder.pt. Er liest die ausgegebenen Positionen plus mehrstufige ViT-Features und erzeugt Masken und Alpha-Mattes mit Schrittweite 1. Kein SAM in der Schleife.

Das ist die Designentscheidung, über die man nachdenken sollte. Die Antwort der Ära 2025 auf „ich brauche eine Maske“ war, einen Detektor an SAM an ein Matting-Modell zu ketten – drei Modelle, drei Fehlerarten, drei Gewichtssätze und dazwischen ein Koordinaten-Übergabeproblem, bei dem Boxen gerundet und Masken verschoben werden. WeVisOne ersetzt die Kette durch einen Decoder, der die Box als Teil seiner Anfrage erhält.

9.6M Parameter sind klein genug, um unspektakulär zu sein, und das ist der Punkt. Der teure Teil der Segmentierung war nie der Decoder. Es war das Grounding.

A photo of a cluttered desk with thin precise bounding boxes drawn over the objects

Die Benchmarks, mit dem Vorbehalt

Alles davon sind Tencents eigene Zahlen aus der README, gegen die stärksten offenen Baselines pro Benchmark:

LVIS Detection F1: 55.3 gegen 50.7 für LocateAnything-3B. Dense200 Detection F1: 71.3 gegen 58.7. RefCOCOg Referring Localization: 81.8 gegen 77.6. PixMo-Count Counting Accuracy: 89.6 gegen 82.8. TotalText OCR: 52.0 gegen 43.3. SROIE OCR: 68.1 gegen 40.3.

Beim Matting, gemessen als MAD ×10³, wo niedriger besser ist: 9.8 auf WeRefMat gegen 22.4 für eine Pipeline aus Qwen3.5-9B plus SAM2-Matting. Auf ReasonSeg 71.2 gIoU gegen 65.0 für ein feinabgestimmtes LISA-13B.

Ein 4B-Modell, das eine 9B-plus-SAM-Kette beim Matting schlägt, ist die Schlagzeile, und sie ist aus dem oben genannten strukturellen Grund plausibel: Die Kette verliert an der Übergabe Information, das vereinheitlichte Modell nicht.

Der Vorbehalt ist der übliche. Anbieter-Benchmarks messen anbieterseitig gewählte Aufgaben. Die Ablehnungsrate ist die Zahl, der ich tatsächlich als Unterscheidungsmerkmal trauen würde, weil Ablehnen schwer zu manipulieren ist – mit großzügigen Boxen kommt man nicht auf 96.4%.

Wie man es laufen lässt

Zwei Wege, und sie sind nicht gleichwertig.

Das Inferenzpaket. Aus dem GitHub-Repo installieren, dann:

from PIL import Image
from wevisone_vl import WeVisOneVL

model = WeVisOneVL("tencent/WeVisOne-VL-4B", device="auto", dtype="bfloat16")
image = Image.open("example.jpg").convert("RGB")
result = model.predict(image, task="matting", query="person", temperature=0.0)
print(result.response, len(result.masks))

Das ist der vollständige Weg: Masken, Mattes und der Pixel-Decoder.

Der quantisierte Weg. Es gibt ein Q4_K_M-GGUF, das über llama.cpp auf einer 8GB-GPU läuft, und einen Einzeiler für Ollama. Es übernimmt die Objektaufgaben – Boxen, Punkte, Zählungen, OCR – mit einem Bruchteil des Speichers.

Was es nicht kann: Masken erzeugen. Der GGUF-Build lässt den Pixel-Decoder weg, also fallen Matting und Segmentierung aus. Das steht offen in den Community-Beiträgen statt vergraben, und es ist die Sorte Detail, die jemandem ein Wochenende kostet, wenn er nicht vorher liest. Wer Mattes braucht, braucht den vollen Inferenzpfad und den VRAM dazu.

Was es nicht tut

Ein Bild, ein Durchgang. Der Pixel-Decoder lehnt Videoraster ab, also kein temporales Tracking, kein Stapel Frames als Sequenz. Das Modell antwortet außerdem ohne Chain-of-Thought – bewusst, wegen der Latenz –, was heißt, man kann es nicht bitten, sich zu einer Antwort zu denken, die es nicht direkt produziert hat.

Und die Matting-Qualität hat genannte Empfindlichkeiten: Bildauflösung, starke Verdeckung, komplexe Transparenz und die Formulierung des Prompts. Das letzte ist das ehrliche. „Person“ und „die Person in der roten Jacke“ erzeugen unterschiedliche Alpha-Kanten, und keine ist falsch.

Warum das über Matting hinaus zählt

Die Modellkategorie, zu der das gehört, war unterbaut. Alle haben Chat-über-ein-Bild-Modelle ausgeliefert, weil die Benchmarks das belohnt haben und die Demos so aussahen. Wahrnehmung – zählen, zeigen, lokalisieren, maskieren – ist weniger unterhaltsam zu demonstrieren und in der Produktion deutlich nützlicher, weil sie die Schicht zwischen der Absicht eines Sprachmodells und einer tatsächlichen Pixelbearbeitung ist.

Wer ein Bildbearbeitungsprodukt baut, findet hier die fehlende Komponente. Das Sprachmodell entscheidet, die Lampe aus dem Foto zu entfernen. Etwas muss die Lampe finden, eine weiche Maske davon erzeugen, inklusive des Schattens, den sie wirft, und das zurückgeben. Bis vor Kurzem war dieses „Etwas“ eine Kette aus drei Modellen mit 27% Chance, eine Lampe zu erfinden, die nicht da ist.

Sechsundneunzig Prozent sind nicht perfekt. Es ist die erste Zahl in diesem Feld, die hoch genug ist, um darauf zu bauen, ohne bei jedem Aufruf einen Menschen im Kreis zu brauchen, und das ist eine andere Art Meilenstein als ein Benchmark-Sieg.

Die Integration, über die niemand schreibt

Es gibt einen Effekt zweiter Ordnung, der zählt, wenn man ein Bearbeitungswerkzeug ausliefert. Sobald Grounding und Matting im selben Modell liegen, wird die Schleife kürzer, und das lässt sich schwer ermessen, bis man die lange Version gebaut hat.

Alte Schleife: Der Nutzer bittet, eine Lampe zu entfernen. Das Sprachmodell macht daraus eine Anfrage. Der Detektor gibt Boxen zurück. Man wählt eine. Man croppt, startet SAM, startet ein Matting-Modell, compositet. Vier Netzwerkaufrufe, vier Latenzbudgets und ein Koordinatenraum, der bei jedem Sprung abgeglichen werden muss. Ist das Ergebnis falsch, weiß man nicht, welcher Sprung gebrochen ist.

Neue Schleife: ein Aufruf, Task gleich Matting, Query gleich Lampe, zurück kommt ein Alpha-Matte. Ist es falsch, ist es aus einem Grund falsch. Debuggbare Systeme sind Systeme, die Leute weiter benutzen, und das entscheidet meist stärker über Adoption als zwei Punkte F1.

Das 2B-Geschwister zählt hier ebenfalls. Wenn das 4B das Modell ist, mit dem man validiert, ist das 2B das, was man tatsächlich am Rand einer Pipeline einsetzt, in der nachts ein Stapel Produktfotos durchläuft. Tencent hat beide am ersten Tag ausgeliefert, was das Verhalten eines Teams ist, das erwartet, dass Leute das in Produktion nehmen statt in eine Demo.

Verwandte Artikel