← 返回博客
Ai预计阅读 9 分钟

用公开数据复刻闭源视觉模型,纽伦堡团队在 Cityscapes 上反超了一点

发布于 2026年11月14日
用公开数据复刻闭源视觉模型,纽伦堡团队在 Cityscapes 上反超了一点

一个研究团队只用了公开模型和公开数据,复刻出一个闭源视觉模型,而且在至少一个基准上还反超了。

这个数字是 9B 模型在 Cityscapes 上零样本跑出的 73.9 mIoU,Vision Banana 公布的是 69.9。这组对比就是标题的由来,不过真正有用的是对比底下的那些细节。

做了什么

Open Vision Banana 出自纽伦堡理工大学 Fundamental AI Lab,合作方包括 DLR、AIST、图宾根大学、TUM 和 valeo.ai。做法是拿现成的开放权重生成模型 FLUX.2-Klein 做微调,4B 和 9B 两个规模都做了,训练对数量在 210 万到 380 万之间,素材来自 COCO-Stuff、ADE20K、BDD100K、NYUv2 这些公开数据集。

定位很关键。这是把一个生成模型改去做感知,深度、分割、指代、推理这些任务都要接,同时保留它原本的图像编辑能力。微调之后基座的生成本事还在,所以这批结果的意义超出了分割分数。

73.9 这个数得加个注脚

Cityscapes 上那个零样本成绩,依赖作者提出并命名的一项技术:legend ensembling。

单次前向只有 65.4 mIoU。到 73.9 的那段差距,来自用不同的颜色到类别映射表把模型多跑几遍,再按像素做多数投票融合。这一招在 Cityscapes 上加了 8.7 个点,在 COCO-Object 上加了 15.0 个点。

所以老实读这个标题,结论是模型得跑好几次才够得着那个数,而方法带来的收益取决于任务本身吃不吃投票这一套。要是流水线对延迟敏感、只给一次前向的预算,你拿到的是 65.4。

这算不上对论文的批评。两个数作者都报了,很多基准表格做不到这一点。它提醒的是另一件事:看到一个 mIoU 数字、却没看到成本那一栏时,该怎么读。

差距在哪里变大

分割上的胜利没有复制到所有任务,论文自己也这么说。

在指代分割和推理分割上,非零样本的几个变体跟 Vision Banana 差在 5 个点以内。实例分割就明显落后了:SA-Co/Gold 上是 37.4 cgF1,对手 47.5。

深度估计方面,作者的说法是可以与当前最好的仿射不变深度估计器相提并论。在一个拥挤的赛道里,这是很谨慎的持平表述。

整体画面就是:在作者重点优化的任务上,它追平甚至超过了闭源基线;两个相邻任务上很接近;实例级区分上掉队。一个像样的复现大概就长这样。要是什么都赢,反而可疑。

真正的贡献是开源

学术界的复现通常只交一篇论文,别的没了。这一份把数据管线、训练和评测代码、最终检查点和中间检查点全放了出来。

这样组合起来,结果才是可核查的。有中间检查点,你能看到模型是先学会深度还是先学会分割,也能从更早的权重接着微调,不必付一整轮训练的账。

算力成本也写了,这点很少见。4B 模型大约 73 小时、16 张 GH200;9B 大约 79 小时、32 张 GH200。

这些数字决定了谁能复制。16 张 GH200 差不多是一所高校集群或者经费充裕实验室的量级,笔记本上跑不动。32 张是正经的配额。配方公开不等于便宜,4B 版本几乎和 9B 一样能打,这点才让它够得着:两个 GH200 节点跑三天,写进经费申请里就行,用不着自建机房。

复现闭源模型为什么重要

Vision Banana 最初的结果之所以有意思,恰恰因为公司之外没人能验。现在有了一个在多数任务上差几个点、在一个任务上领先的复现,那些结果的性质就从「一个说法」变成了「一个靶子」。

还有个常被忽略的连带效应。当闭源模型的评测被搬到开放权重上重做,比较的对象就变成了训练数据和训练方法,不再是参数量。9B 模型能追平一个闭源系统,说明闭源的优势落在数据配比和任务定义上,而这两样恰好是可以复制的。

大部分功夫花在数据集构建上。COCO-Stuff、ADE20K、BDD100K、NYUv2 都是公开的,标注目的各不相同,没有一个是为了训练一个同时处理深度、分割和编辑的统一模型而造的。要从里面拼出 210 万到 380 万对,就得对齐彼此不一致的标签空间,这活儿不体面,估计也吞掉了大部分精力。

如果这套配方能迁移,下一个问题就是同样的招数对别的闭源感知模型管不管用。模式本身很通用:找一个强的开放生成模型,在一个大规模拼装出来的监督集上微调,跨多个任务评测,让短板露出来。这条路不需要任何新架构,所以对那些护城河是「未公开训练配比」的人来说,它才显得刺眼。

第三个效应:基座是个生成模型。同一套权重如果既能做深度、分割,又能做编辑,那生产流水线就可以用一份检查点换掉三个专用模型加一个编辑模型,代价是最难的实例级任务上掉一点精度。这个取舍要在你自己的数据上量,别在 Cityscapes 上量。

能拿走什么

真正能带走的是这个结论的结构,73.9 只是外壳:复现它,诚实报告每个任务的差距,放出中间产物,写清算力。

看到「打败闭源模型」这类标题,可以用同样三个问题过一遍。这个数里有没有测试时的技巧,代价是多少。这个胜利在模型没针对优化的任务上还站得住吗。算力少一些的人,用公开的配方能不能也做到只差几个点。

Open Vision Banana 在正文里把这三个问题都答了,所以这篇论文值得越过摘要往下读。

它留了一个问题没答,而这恰恰是买单的人会问的。论文证明了公开数据加公开基座可以复现一个闭源系统的基准数字。它没证明这套复现在产品真正会遇到的那些脏输入上有用:光线很差的照片、截图再截图、文字烙进画面的图、比训练分布小得多的裁切。Cityscapes 这类基准天生干净。

下一轮比较会发生在那个空隙里,而开放检查点在这里比闭源的有优势。谁都能明天就在自己的数据上试一遍。

相关文章