兩百個真實編輯任務，0.27 分的差距：圖像基準到底在測什麼

三個數字，三種不同的說法

新模型上線的時候，你拿到的是一份附了圖表的新聞稿。圖表上通常新模型排在第一位，排序用的是廠商自己挑的指標，測的是廠商自己建的資料集。業界人人都知道是怎麼回事，還是照樣引用那張圖，因為上線第一天也沒別的可以引用。

這個月最清楚的例子是 10 月 15 日 Black Forest Labs 發布的 FLUX 3 Image Klein，5.6B 開放權重。一週之內市面上流傳三套數字，它們彼此不一致的地方本身就很說明問題。

廠商的 Elo 數字：在開放權重模型裡拿下文生圖、多參考圖生成與圖像編輯三項第一，領先體型更大的對手。跟自家的 FLUX.2 klein 9B 相比，文生圖多了 91 Elo，編輯多了 70，參數還少了 38%。

廠商的延遲數字：一百萬像素下，文生圖 API 延遲中位數 4.54 秒，編輯 7.18 秒，比點名的四家對手都快。方法說明補了一句：新模型是在 BFL 自家伺服器上計時，其他幾家是從用戶端測的，包含輪詢與網路時間；還有一家對手測的是中階版而不是高階版。

第三方盲測：200 個真實編輯任務，Klein 拿 6.93，Nano Banana 2.1 拿 7.20，十分制下差 0.27 分。同一個測試還發現 Klein 在姿態調整與多圖合成上比較吃力。單張成本大約是對手的五分之一。

這些數字沒有一個是假的。它們回答的是不同的問題，混淆來自於把它們當成同一個問題。

Elo 能告訴你什麼，不能告訴你什麼

Elo 是偏好分數。它的意思是：把兩個輸出擺到人類評分員面前問哪個比較好，其中一個被選中的次數比較多。這是真實的測量，而且對"這看起來是不是比較好"這個問題，它是對的測量。

但它也有一個特定的盲點：它把任務脈絡壓平了。一個模型可以在 Elo 上平均取勝，卻在你唯一需要它做的那件事上輸得很慘。如果你的工作是白底產品圖、姿態變化，或把三張參考圖合成一個協調的場景，那這個平均值不是你的平均值。

盲測最有用的發現不是分數，是失敗模式。兩百個真實編輯任務，反覆出錯的集中在姿態與多參考圖合成，而這正是佈局機制本來該發揮作用的任務。這比"落後 0.27 分"有用得多，因為它告訴你哪些工作該發包出去。

還有個量級問題值得直說。十分制的人工評分，6.93 對 7.20 是很小的差距。它完全落在"測試集挑了哪幾張圖、評分員口味如何就能把排名翻過來"的區間裡。這種量級的差距是線索，不是判決。

成本那一欄，大家總是跳過

這裡有個數字本來該上標題：單張成本只有五分之一。

如果 A 模型好 4%，貴 5 倍，對大多數工作流來說正確答案不是"用 A"。而是"簡單的那八成影格用 B，難的那兩成用 A"。這不是妥協。生產一直都是這樣做的，沒有人每一格都用最貴的底片。

成本也會改變行為。便宜到只有五分之一的模型，是你敢拿來試的模型：出五個版本而不是一個，畫壞的手再來一次，背景多跑一輪。迭代次數是一個從不進排行榜的品質槓桿，也是便宜模型在實務上贏的次數比它的分數所暗示的更多的原因。

同樣的模式也出現在 API 市場數據裡。在 Vercel 十月的閘道指數中，一個便宜的開放權重模型處理了九月近一半的 token，花費卻不到 3%。用量跟著價格走，幾個百分點的品質差距，一碰到預算就很少還站得住。

廠商數字還有用的地方

這不代表官方基準一文不值。其中兩項說法在結構上是有用的。

參數效率那一項，參數少 38% 而成績更好，是可以被推翻的，方向上也很重要，因為它預測的是部署，不只是品質。一個 5.6B 的圖像主幹，加上一個 4B 文字編碼器，再掛一個選用的 9B 提示詞上採樣器，跟一個 5.6B 的系統不是同一件事；小模型需要語言模型幫忙寫好提示詞，這件事本身就是個發現。短提示詞會產出平庸的結果，這是一條偽裝成註腳的部署限制。

延遲那一項也有用，即使測試方法偏著主場。一百萬像素下四到七秒，對一個可以本地執行的模型來說，這個數字決定了互動式工具到底互動不互動。如果你在做那種使用者拖一個框然後等著的介面，這就是關鍵數字，而它不在任何一張 Elo 圖上。

下一次發布該怎麼看

四個問題，照這個順序問，圖表可以跳過大半。

測試集是誰做的？廠商自己建的，就當示範看，別當測量。

是盲測嗎，是第三方嗎？兩百個真實任務加上隱藏模型身分，比一萬次廠商互比都值錢。

它在哪裡失敗？失敗模式才是產品決策。"姿態變化上更差"告訴你哪裡別用它。

成本多少？比較之前先把每個分數按價格歸一化，還要記得重試的成本也是模型成本的一部分。

贏得圖表的模型和贏得你產線的模型，常常不是同一個，而它們之間的差距，通常就在那一欄沒有人截圖的數字裡。

安靜的那個結論

開放權重的圖像模型已經好到，"它們能不能打"不再是開放問題。在一場 200 任務的盲測裡，一個 5.6B 的開源模型與閉源對手的差距在 0.3 分以內，價格卻只有五分之一，而分歧在於具體任務類型，不在於整體能力。

這是一個成熟市場該有的樣子：沒有單一贏家，按任務分流，成本那一欄決定的部署比任何基準都多。廠商的圖表每個月都會繼續來。真正有用的本事，是知道自己看的到底是三個數字裡的哪一個。