← ブログに戻る
Ai読了目安 12 分

公開データだけでクローズドな視覚モデルを作り直し、Cityscapes で一歩前に出た

公開日 2026年11月14日
公開データだけでクローズドな視覚モデルを作り直し、Cityscapes で一歩前に出た

ある研究チームが、公開モデルと公開データだけでクローズドな視覚モデルを作り直し、少なくとも一つのベンチマークでは上回ってみせた。

9B モデルが Cityscapes でゼロショット 73.9 mIoU、Vision Banana の報告値は 69.9。見出しになるのはこの比較だが、使えるのはその下にある細部のほうだ。

何を作ったのか

Open Vision Banana はニュルンベルク工科大学の Fundamental AI Lab の成果で、DLR、AIST、テュービンゲン大学、TUM、valeo.ai が名を連ねる。既存のオープンウェイト生成モデル FLUX.2-Klein を 4B と 9B の両方の規模でファインチューニングした。学習ペアは 210 万から 380 万組、COCO-Stuff、ADE20K、BDD100K、NYUv2 などの公開データセットから寄せ集めたものだ。

位置づけが効いている。生成モデルを認識に転用する話で、深度、セグメンテーション、参照、推論をこなしながら、元から持っていた画像編集の挙動も残す。ファインチューニング後もベースの生成能力は生きている。だからこの結果はセグメンテーションのスコア以上に面白い。

73.9 には注釈が要る

Cityscapes のゼロショットの数字は、著者が導入して legend ensembling と名付けた手法に依存している。

順伝播 1 回では 65.4 mIoU。73.9 との差は、色とクラスの対応表を変えながらモデルを複数回走らせ、画素ごとの多数決で出力を統合することで生まれる。Cityscapes ではこれで 8.7 ポイント、COCO-Object では 15.0 ポイント上がる。

だから見出しを素直に読むと、その数字に届くには複数回の推論が要る、という話になる。手法の効き目は、そのタスクが投票で伸びるかどうかに比例する。レイテンシに厳しくて 1 回が予算の上限というパイプラインなら、手に入るのは 65.4 だ。

これは論文への批判ではない。著者は両方の数字を載せている。多くのベンチマーク表はそこまでやらない。コストの列が添えられていない mIoU の主張をどう読むか、という話だ。

差が開くところ

セグメンテーションでの勝ちは全タスクには及ばない。論文もそう書いている。

参照セグメンテーションと推論セグメンテーションでは、ゼロショットでないバリアントが Vision Banana に 5 ポイント以内で迫る。インスタンスセグメンテーションでははっきり負ける。SA-Co/Gold で 37.4 cgF1、相手は 47.5。

深度推定については、現在の最高水準のアフィン不変深度推定器と肩を並べると表現している。競争の激しい領域で同等性を主張する、慎重な言い方だ。

全体像はこうなる。著者が最適化したタスクではクローズドなベースラインに並ぶか上回り、隣り合う 2 タスクでは肉薄し、インスタンス単位の切り分けでは後れを取る。まともな再現とはそういうものだ。どこでも勝つ再現のほうが、むしろ怪しい。

本題はリリースの中身

学術的な再現はたいてい論文だけ出して終わる。これはデータパイプライン、学習と評価のコード、最終と中間のチェックポイントの両方を出した。

この組み合わせが結果を検証可能にする。中間チェックポイントがあれば、深度とセグメンテーションのどちらを先に学んだのかが見える。途中の重みから追加学習して、フル実行のコストを払わずに済ませることもできる。

計算コストも書いてある。珍しい。4B モデルで GH200 16 枚を約 73 時間、9B で GH200 32 枚を約 79 時間。

この数字が、再現できる人を決める。GH200 16 枚は大学のクラスタか資金のある研究室の規模だ。ノート PC では届かない。32 枚は本気の配分になる。レシピが公開されても安くはならない。それでも 4B 版が 9B とほぼ同じくらい効くという点が、手の届く話にしている。GH200 2 ノードで 3 日なら、研究費申請の話であってデータセンターの話ではない。

クローズドなモデルを再現する意味

Vision Banana の元の結果が面白かったのは、社外の誰も検証できなかったからだ。ほとんどのタスクで数ポイント差、一つで上回る再現が出ると、その結果の身分は「主張」から「目標」に変わる。

見落とされがちな二次的な効果もある。クローズドモデルの評価がオープンウェイト上で再現されると、比較の対象は規模ではなく学習データと手法になる。9B モデルがクローズドなシステムに並んだのなら、優位性はデータの混合比とタスク設計にあったことになり、そこは再現できる部分だ。

労力の大半はデータセット構築にある。COCO-Stuff、ADE20K、BDD100K、NYUv2 はいずれも公開されていて、目的もばらばらで、深度とセグメンテーションと編集を同時に扱う統合モデルを訓練するために作られたものは一つもない。そこから 210 万から 380 万組を組み上げるには、互いに食い違うラベル空間を突き合わせる必要がある。地味な作業で、おそらくここにほとんどの時間が消えた。

レシピが持ち運べるなら、次の問いは同じ手が他のクローズドな認識モデルにも効くかだ。パターン自体は一般的で、強いオープン生成モデルを取り、大規模に寄せ集めた教師信号で微調整し、複数タスクで評価して穴を見えるようにする。新しいアーキテクチャは要らない。だから「未公開の学習データ混合」を堀にしていた側には痛い話になる。

三つ目の効果。ベースが生成モデルだということ。同じ重みが深度とセグメンテーションと編集を扱えるなら、本番パイプラインは専用モデル 3 本と編集モデル 1 本を、チェックポイント 1 個に置き換えられる。代償は最も難しいインスタンス単位の作業での精度だ。このトレードオフは Cityscapes ではなく自分のデータで測るといい。

持ち帰れるもの

持ち帰るべきは主張の構造のほうで、73.9 という数字はその外側にある。再現する、タスクごとの差を正直に報告する、中間成果物を出す、計算量を明記する。

「クローズドモデルを超えた」という見出しを評価するときは、同じ三つの問いを当てればいい。その数字はテスト時の工夫を含んでいるか、コストはいくらか。モデルが最適化していないタスクでも勝ちは保たれるか。小さいクラスタしかない人が公開レシピで数ポイント以内に迫れるか。

Open Vision Banana は本文でこの三つすべてに答えている。だから抄録を飛ばして読む価値がある。

答えずに残した問いが一つあり、それは買う側が必ず聞くものだ。公開データと公開ベースモデルでクローズドなシステムのベンチマーク値を再現できる、というのは示した。その再現が、製品が実際に受け取る汚い入力で役立つかは示していない。照明の悪い写真、スクリーンショットのスクリーンショット、文字が焼き込まれた画像、学習分布より小さいクロップ。Cityscapes のようなベンチマークは、作りからして整っている。

次の比較はその隙間で起きる。そしてそこは、オープンなチェックポイントがクローズドなものに対して優位に立てる場所だ。誰でも明日、自分のデータで試せる。

関連記事