座標をトークンにする4Bモデル、WeVisOne-VLが拒否率96.4%を出すまで

WeVisOne-VLのREADMEには、ほとんどの人が読み飛ばす数字があり、その1つだけはスライドに載せたいと思いました。96.4%です。
これはWeRef-Benchでの棄却率です。クエリが、画像に存在しない物体を指すことがあるベンチマークです。比較対象のベースラインは73.0%しか棄却できません。つまり、強いオープンな視覚言語モデルであるベースラインは、存在しないものの周りに自信満々に枠を描くのが、およそ4回に1回あります。
デモなら珍しい話で済みます。パイプラインでは、それだけで全体が使いものにならなくなる種類の失敗です。製品が写真から人物を切り抜いてプリント業者に渡すとして、27%の確率で違うものを切り抜く、あるいは何も切り抜かない。品質の問題ではなく、返金の問題です。
WeVisOne-VLは、テンセントのWeChat Visionチームによる4Bの知覚モデルで、10月22日に公開されました。技術レポート、2Bと4Bの重み、推論パッケージ、クックブック、評価パイプラインが揃っています。テンセントが書いたコードはApache-2.0。できることは7つ。検出、指示による位置特定、計数、ポイント指定、OCR、指示によるセグメンテーション、プロンプト可能なアルファマッティングです。
面白いのは一覧そのものではなく、その一覧を7モデルではなく1モデルにしている構造です。
座標をトークンとして扱う
WeVisOne-VLはQwen3-VLの上に作られています。設定を見れば確認できます。テキスト層36、隠れ次元2560、パッチサイズ16の24層ViT、語彙数152,680。最後の数字がヒントです。標準的なQwen3-VLの語彙はもっと小さい。余分な約1000トークンは座標です。<0>から<1000>までが、正規化された矩形と点を表します。
つまり位置特定は、検出モデルに後付けした別のヘッドではありません。次トークン予測です。モデルは「人物は左にいる」と言う代わりに「人物は<312><184><498><702>にいる」と言います。密なタスクではさらに、予測した矩形のたびにインスタンストークン<OBJ>(ID 152678)を出し、デコーダがそれを使って特定の物体を特定のマスクに結びつけます。
加えて9.6Mパラメータのピクセルデコーダがmask_decoder.ptとして同梱されています。出された位置と多段のViT特徴を読み、マスクとストライド1のアルファマットを生成します。ループにSAMは入りません。
ここは腰を据えて見る価値のある設計判断です。「マスクが欲しい」に対する2025年ごろの答えは、検出器をSAMに、SAMをマッティングモデルに繋ぐことでした。3つのモデル、3つの失敗の仕方、3組の重み、そして途中の座標の受け渡しで矩形が丸められマスクがずれる問題。WeVisOneはその連鎖を、矩形をクエリの一部として受け取る1つのデコーダに置き換えます。
9.6Mパラメータは目立たないほど小さい。そこが要点です。セグメンテーションで高くつくのはデコーダではありませんでした。グラウンディングのほうでした。

ベンチマークと、付いてくる注意
以下はすべてREADMEにあるテンセント自身の数字で、各ベンチマークで最も強いオープンなベースラインとの比較です。
LVIS検出F1は55.3に対しLocateAnything-3Bが50.7。Dense200検出F1は71.3に対し58.7。RefCOCOgの指示による位置特定は81.8に対し77.6。PixMo-Countの計数精度は89.6に対し82.8。TotalTextのOCRは52.0に対し43.3。SROIEのOCRは68.1に対し40.3。
マッティングはMAD×10³で、小さいほど良い値です。WeRefMatで9.8、Qwen3.5-9BとSAM2-Mattingのパイプラインが22.4。ReasonSegではgIoU 71.2に対し、ファインチューニングしたLISA-13Bが65.0。
4Bのモデルが9B+SAMの連鎖にマッティングで勝つ、というのが見出しで、上の構造的な理由から筋は通っています。連鎖は受け渡しで情報を落とし、統合モデルは落としません。
注意はいつもの通りです。ベンダーのベンチマークはベンダーが選んだタスクを測ります。その中で差別化として信頼したいのは棄却の数字です。棄却はごまかしにくい。矩形を気前よく出して96.4%には届きません。
動かす
経路は2つあり、等価ではありません。
推論パッケージ。 GitHubのリポジトリから入れて、こうします。
from PIL import Image
from wevisone_vl import WeVisOneVL
model = WeVisOneVL("tencent/WeVisOne-VL-4B", device="auto", dtype="bfloat16")
image = Image.open("example.jpg").convert("RGB")
result = model.predict(image, task="matting", query="person", temperature=0.0)
print(result.response, len(result.masks))
これが全部入りの経路です。マスク、マット、ピクセルデコーダまで。
量子化の経路。 llama.cpp経由で8GBのGPUで動くQ4_K_MのGGUFがあり、Ollamaのpullは1行です。物体レベルのタスク、つまり矩形、点、計数、OCRは、はるかに少ないメモリでこなします。
できないのはマスクの生成です。GGUFビルドはピクセルデコーダを落としているので、マッティングとセグメンテーションは消えます。これは隠さずコミュニティの記事にはっきり書かれていて、先に読まないと週末を1つ失う類の話です。マットが必要なら、完全な推論経路と、それに付いてくるVRAMが要ります。
できないこと
単一画像、単一ターンです。ピクセルデコーダは動画のグリッドを拒むので、時間方向の追跡も、フレーム列を系列として扱うこともできません。モデルは思考の連鎖なしで答えます。レイテンシのための意図的な設計で、自分が直接出さなかった答えへ推論で辿り着かせることはできません。
マッティングの品質には、明記された敏感性があります。画像の解像度、激しい遮蔽、複雑な透明、プロンプトの言い回し。最後のものが正直です。「person」と「the person in the red jacket」ではアルファの境界が変わり、どちらも間違いではありません。
マッティングの外で、これが効く理由
このモデルが属するカテゴリは、これまで作られてきませんでした。誰もが画像について対話するモデルを出しました。ベンチマークがそれを評価し、デモがそう見えたからです。知覚、つまり数える、指す、位置を特定する、マスクする、という仕事はデモ向きではない代わりに、本番ではるかに有用です。言語モデルの意図と、実際のピクセル編集の間にある層だからです。
画像編集の製品を作っているなら、これが欠けていた部品です。言語モデルが写真からランプを消すと決める。何かがランプを見つけ、落とす影まで含めた柔らかいマットを作り、返さなければならない。最近までその「何か」は、存在しないランプを27%の確率で発明する3モデルの連鎖でした。
96%は完璧ではありません。この領域で初めて、呼び出しのたびに人間を挟まずに上に何かを作れる高さの数字で、それはベンチマークの勝利とは別種の到達点です。
誰も書かない統合の話
編集ツールを出荷するなら効いてくる二次効果があります。グラウンディングとマッティングが同じモデルに住むと、ループが短くなります。長いほうを組んだことがある人でないと実感しにくい短さです。
古いループ。ユーザーがランプを消してと言う。言語モデルがクエリに変える。検出器が矩形を返す。1つ選ぶ。切り抜き、SAMを回し、マッティングモデルを回し、合成する。4回のネットワーク呼び出し、4つのレイテンシ予算、そして各ホップで整合させなければならない座標空間。結果が違ったとき、どのホップが壊れたか分かりません。
新しいループ。呼び出しは1回、タスクはマッティング、クエリはランプ、返ってくるのはアルファマット。間違っていれば、理由は1つです。デバッグできるシステムは使い続けられるシステムで、それはたいていF1が2点上がることより導入を左右します。
2Bの兄弟もここで効きます。4Bが検証用なら、2Bは製品写真のバッチを夜間に流すパイプラインの端で、実際に配備するものかもしれません。テンセントは初日に両方を出しました。デモではなく本番に入れることを想定したチームの振る舞いです。
関連記事
中国製 Android のシステム UI に載った広告を切る、コミュニティ管理のタップ表
システムには触らず、アンロックも書き込みもしない。ベンダーがもともと用意したスイッチを一つずつ倒すだけだ。代償は、この一覧を書き続ける人が要ることにある。
GPT Image 2.6 はトークン単価を据え置き、請求額を上げた
GPT Image 2.6 は 2.5 のトークン単価をすべて引き継ぎながら、1 枚あたりの費用は上がった。仕事の多くが出力トークン側に移ったからだ。11 日目の価格構造は、ランキングより多くを語る。
外から IDM を作り直した人が、触れなかった部分を書き残した
Mister Download Manager は Internet Download Manager の流れを Rust で作り直し、5 倍の速度と 86 言語を掲げる。より興味深いのは、何もコピーせずにどう作ったのかを説明した段落のほうだ。
Rune はエージェントが自分の仕事を検証できるように作られた Rust UI フレームワーク
Rune はヘッドレスで描画し、要素ツリーを出力し、スクリプト化された入力を受け付ける。スクリーンショットでは決して得られない、diff できる信号をコーディングエージェントに渡せる。フレームワークはプレリリースで、プルリクエストは受け付けない。