← 返回博客
Ai预计阅读 8 分钟

一个 16 亿参数的模型不再把图像翻译成 token,还赢了那些翻的架构

发布于 2026年11月7日
一个 16 亿参数的模型不再把图像翻译成 token,还赢了那些翻的架构

华中科技大学王兴刚团队与地平线合作的一篇论文这个月公开,讲的是一个两条主流路都不走的多模态架构。模型叫 MF-1,16 亿参数,从零预训练,只用 1500 亿 token,在同数据、同算力预算的受控对比里同时超过了两条路上已有的做法。

这个结果的意义不在榜单分数,而在于它说明当前多模态训练里有很大一部分钱花在了架构的妥协上。

两条路,各自的代价

这几年把语言和图像放进同一个模型有两种办法。

全离散这条路,Chameleon 和 Emu3 走的是它:把图像量化成离散 token,于是所有东西都变成一串整数,一个自回归目标。优雅,天花板也硬:视觉 tokenizer 在量化时把高频细节扔掉。细纹理、小字、微妙渐变,在模型看到之前就已经被压平了。你可以把 tokenizer 做得更好,也确实有人在做,但天花板是结构性的。

混合这条路,Transfusion 和 JanusFlow 走的是它:文本保持离散,图像保持连续。文本走下一 token 预测,图像走扩散。这绕开了量化瓶颈,代价是模型里要同时维护两套目标函数和两套采样流程,让它们联合优化是个工程项目,不是研究问题。每一次消融都变贵一倍。

两条路都在把一种模态翻译成另一种的格式。Multimodal Flow 拒绝的就是这个妥协。

一个目标,两种原生格式

设计上,语言留在自己的连续嵌入空间,图像留在自己的,共享同一个 Flow Matching 目标。

两股细粉并行落下并开始交织,一股淡蓝一股暖沙色,纯黑背景。

具体:文本按 8 个 token 一块切开,每块用冻结的 T5-small 编码成连续的文本超块。图像过冻结的 SigLIP2,出来是 16×16 的空间网格,构成一个视觉超块。超块按任务需要的顺序串成一条序列,送进共享的 Chunk-Causal Flow 骨干。

注意力掩码是巧的地方。预测第 k 个超块时,之前的超块全部可见,当前超块内部的位置联合建模,之后的被遮住。因果性保持在超块粒度上,信息在块内自由流动。这才让一个 256 格的视觉超块能被当成一张连贯的图生成,而不是 256 个独立决定。

第二个设计是 Transformer 内部的混合:注意力层共享,所以语言和视觉能互相看;FFN 层按模态分开,因为两者的表示统计差得够多,硬塞进一个前馈块会掉分。论文的消融据说证实了这点,这种细节能给别人省三个月。

文本块定在 8 个 token 是个有意的折中。块小,控制细、序列长;块大,因果掩码便宜。8 是权衡落下来的地方。

数字

文生图:GenEval 综合 0.821,DPG-Bench 长提示词对齐 83.44。在 GenEval 的计数子任务上,MF-1 拿到 0.73,明显领先同规模统一模型。计数一直是统一架构的尴尬处,因为它要求把一个数字绑到多个实例上,而联合建模一个视觉块恰好帮上忙。

理解:VQAv2 72.6,MMBench 67.2,POPE 86.1,平均 75.3。这个平均分超过了一些用预训练语言模型初始化的同体量模型,这个才意外。从预训练 LLM 起步通常是白送的性能。

受控对比是这篇论文值得读的地方。同数据、同参数预算、同优化器,Multimodal Flow 在 GenEval、GQA、VQAv2、MMBench 上同时超过 Transfusion 式混合和 Chameleon 式离散。不是一个榜上多一分,是一整组。

为什么计数才是关键考题

GenEval 的所有子任务里,计数最能干净地区分架构。

让模型画三个红苹果,同时要求两件事:表示数字三,把这个数绑到三个不同的物体实例上,每个还得是红的、是苹果。离散 token 模型经常出两个或四个。扩散模型经常出一团看着像的,指望没人去数。混合系统更接近,因为图像那侧是连续的,但文本那侧还得把一个基数递过去,并且这个基数要在交接中活下来。

MF-1 在那一项拿 0.73,比 0.821 那个总分更重要,因为总分有一部分靠颜色和简单物体的题撑着。

1500 亿 token 才是真正的说法

前沿多模态模型的训练 token 数是以万亿计的。MF-1 用了 1500 亿,16 亿参数,GenEval 到 0.821。

如果这个能扩展,它就改变了一个前提。现在的共识是统一多模态模型很贵,因为要学会两种模态得吃巨量数据。这篇论文暗示,其中很大一部分贵是架构在为妥协付账:量化图像损失画质,于是用更多数据买回来;维护两个目标损失优化效率,于是用更多算力买回来。

把妥协拿掉,同样的预算能走更远。这个结论在 100 亿或 1000 亿参数上还成不成立,没有答案,论文也没声称成立。团队明确说这是一个规模、一种数据配比。

还有个二阶影响,跟今年另一条线接得上。另有一路研究在试图把 VAE 从图像生成里彻底拿掉,理由是图像压进潜空间再解出来,会丢掉没人要求丢的信息。Multimodal Flow 保留了编码器,但不再把编码器的输出当成必须重新表达成类语言 token 的东西。视觉超块从头到尾是视觉的。这是同一种直觉。

它没解决什么

三个限制值得说清。

编码器是冻结的。T5-small 和 SigLIP2 没有跟 flow 骨干联合训练,意味着表示质量的天花板设在别处。联合训练编码器大概会更好,也会贵得多。

图像分辨率在潜网格意义上是 16×16,对 GenEval 够用,对任何涉及文字渲染或细节的东西不够。高分辨率生成质量不是这篇论文的主题。

这是研究产物。代码在 GitHub 的 hustvl/Multimodal-Flow,权重是起点不是产品,没有托管 API。下周没人会拿它替换自己的图像流水线。

它做的是把可能性的空间收窄了一点。如果一个 16 亿的全连续模型能在同样预算下赢过两条已确立的统一架构,那下一轮多模态基座就多了一个六个月前还不在讨论里的设计选项。对一个花了很多算力争论 tokenizer 的领域,桌上有这个东西是有用的。

相关文章