两百个真实编辑任务，0.27 分的差距：图像基准到底在测什么

三个数字，三种不同的说法

新模型发布的时候，你拿到的是一张配了图表的新闻稿。图表上通常新模型排在第一，排序用的是厂商自己挑的指标，测的是厂商自己搭的数据集。这个行业里人人都知道是怎么回事，但还是照样引用那张图，因为发布第一天也没别的可引用。

这个月最清楚的例子是 10 月 15 日 Black Forest Labs 发布的 FLUX 3 Image Klein，5.6B 开放权重。一周之内市面上流传着三套数字，它们之间的分歧本身就很说明问题。

厂商的 Elo 数字：在开放权重模型里拿下文生图、多参考图生成和图像编辑三项第一，领先于体量更大的对手。跟自己家的 FLUX.2 klein 9B 比，文生图涨了 91 Elo，编辑涨了 70，参数还少了 38%。

厂商的延迟数字：一兆像素下，文生图 API 延迟中位数 4.54 秒，编辑 7.18 秒，比点名的四家对手都快。方法说明里补了一句：新模型是在 BFL 自己的服务器上计时的，其他几家是从客户端测的，含轮询和网络时间；还有一家对手测的是中杯而不是大杯。

第三方盲测：200 个真实编辑任务，Klein 得 6.93，Nano Banana 2.1 得 7.20，十分制下差 0.27 分。同一个测试还发现 Klein 在姿态调整和多图合成上比较吃力。单张成本大约是对手的五分之一。

这些数字没有一个是假的。它们回答的是不同的问题，混乱来自于把它们当成同一个问题。

Elo 能告诉你什么，不能告诉你什么

Elo 是一个偏好分。它的意思是：把两个输出摆到人类评分员面前，问哪个更好，其中一个被选中的次数更多。这是真实的测量，而对于"这个看起来是不是更好"这个问题，它是对口的测量。

但它也有一个特定的盲区：它把任务语境抹平了。一个模型可以在 Elo 上平均取胜，却在你唯一需要它做的那件事上输得很惨。如果你的活是白底产品图、姿态变化，或者把三张参考图合成一个协调的场景，那这个平均值不是你的平均值。

盲测最有用的发现不是分数，是失败模式。两百个真实编辑任务，反复出错的集中在姿态和多参考图合成上，而这恰恰是布局机制本该发挥作用的那些任务。这比"落后 0.27 分"有用得多，因为它告诉你哪些活该派给别人。

还有个量级问题值得直说。十分制的人工评分，6.93 对 7.20 是个很小的差距。它完全落在"测试集挑了哪几张图、评分员口味如何就能把排名翻过来"的区间里。这个量级的差距是条线索，不是判决。

成本那一栏，大家总是跳过

这里有个数字本该上标题：单张成本五分之一。

如果 A 模型好 4%，贵 5 倍，对大多数工作流来说正确答案不是"用 A"。而是"简单的那八成帧用 B，难的那两成用 A"。这不是妥协。生产一直都是这么干的，没人会每一帧都用最贵的胶片。

成本还会改变行为。便宜到五分之一的模型，是你敢拿来试的模型：出五个变体而不是一个，画坏了的手再来一遍，背景多跑一道。迭代次数是一个从不进基准榜的质量杠杆，也是便宜模型在实际使用中赢的次数比分数所暗示的更多的原因。

同样的模式也出现在 API 市场数据里。在 Vercel 十月的网关指数中，一个便宜的开源权重模型处理了九月近一半的 token，花的钱却不到 3%。用量跟着价格走，几个百分点的质量差距，一碰到预算就很少还站得住。

厂商数字还有用的地方

这不代表官方基准一文不值。其中两条说法在结构上是有用的。

参数效率那条，参数少 38% 分数更高，是可证伪的，方向上也重要，因为它预测的是部署，而不只是质量。一个 5.6B 的图像主干，加一个 4B 文本编码器，再挂一个可选的 9B 提示词上采样器，跟一个 5.6B 的系统不是一回事；小模型需要一个语言模型来帮忙写好提示词，这件事本身就是个发现。短提示词出平庸结果，这是一条伪装成脚注的部署约束。

延迟那条也有用，即使测试方法偏着主队。一兆像素下四到七秒，对一个能本地跑的模型来说，这个数字决定了交互式工具到底交不交互。如果你在做那种用户拖个框然后等着的界面，这就是那个关键数字，而它不在任何一张 Elo 图上。

下一次发布该怎么看

四个问题，按这个顺序问，图表可以跳过大半。

测试集是谁做的？厂商自己搭的，就当 demo 看，别当测量。

是盲测吗，是第三方吗？两百个真实任务加隐藏模型身份，比一万次厂商对比都值钱。

它在哪里失败？失败模式才是产品决策。"姿态变化上更差"告诉你哪儿别用它。

成本多少？比之前先把每个分数按价格归一化，还要记住重试的成本也是模型成本的一部分。

赢下图表的模型和赢下你流水线的模型，经常不是同一个，而它们之间的差距，通常就在那一栏没人截图的数字里。

安静的那个结论

开放权重的图像模型已经好到，"它们能不能打"不再是开放问题了。在一场 200 任务的盲测里，一个 5.6B 的开源模型落在闭源对手 0.3 分之内，价格是五分之一，而分歧在于具体任务类型，不在于整体能力。

这是一个成熟市场该有的样子：没有单一赢家，按任务分流，成本那一栏决定的部署比任何基准都多。厂商的图表每个月都会继续来。真正有用的本事，是知道自己看的到底是三个数字里的哪一个。