Duecento edit reali, 0.27 punti di scarto: cosa misurano davvero i benchmark di immagini

Tre numeri, tre affermazioni diverse

Quando esce un nuovo modello di immagini, ti arriva un comunicato stampa con un grafico. Nel grafico il nuovo modello sta di solito in cima, ordinato per una metrica scelta dal fornitore, misurata su un set costruito dal fornitore. Nel settore lo sanno tutti e il grafico lo citano comunque, perché il primo giorno non c'è altro da citare.

L'esempio più chiaro di questo mese è FLUX 3 Image Klein, il rilascio open weights da 5.6B di Black Forest Labs del 15 ottobre. Nel giro di una settimana circolavano tre serie di numeri diverse, e il loro disaccordo era istruttivo.

I numeri Elo del fornitore: primo posto in text-to-image, generazione multi-reference e editing di immagini tra i modelli open weights, davanti a concorrenti più grandi. Contro il proprio FLUX.2 klein 9B guadagna 91 Elo in text-to-image e 70 nell'editing, usando il 38% di parametri in meno.

I numeri di latenza del fornitore: una latenza API mediana di 4.54 secondi in text-to-image e 7.18 secondi nell'editing a un megapixel, più veloce dei quattro concorrenti citati. La nota metodologica aggiunge che il nuovo modello è stato cronometrato sui server di BFL, mentre gli altri sono stati misurati dal client, polling e tempo di rete inclusi, e che un concorrente è stato misurato sulla fascia medium invece che sulla large.

Il test cieco di terze parti: 200 attività di editing reali, 6.93 per Klein e 7.20 per Nano Banana 2.1, 0.27 punti di scarto su una scala da dieci, con lo stesso test che rileva come Klein fatichi sulla regolazione della posa e sulla composizione di più immagini. Costo per immagine: circa un quinto di quello del concorrente.

Nessuno di questi numeri è disonesto. Rispondono a domande diverse, e la confusione nasce dal trattarli come se fossero la stessa domanda.

Cosa può dirti l'Elo e cosa no

L'Elo è un punteggio di preferenza. Dice che quando a valutatori umani sono stati mostrati due output chiedendo quale fosse migliore, uno è stato scelto più spesso. È una misura reale, ed è la misura giusta per "questo sembra migliore".

È anche una misura con un punto cieco preciso: appiattisce il contesto del compito. Un modello può vincere un confronto Elo in media e perdere malamente proprio sulla cosa per cui ti serve. Se il tuo lavoro sono still life di prodotto su fondo bianco, cambi di posa o la composizione di tre reference in un'unica scena coerente, quella media non è la tua media.

Il risultato più utile del test cieco non è il punteggio. È il modo in cui fallisce. Duecento attività di editing reali, e gli errori ricorrenti riguardavano posa e composizione multi-reference, esattamente le attività in cui la macchinosità del layout dovrebbe aiutare. È una frase molto più operativa di "0.27 punti indietro", perché ti dice quali lavori dirottare altrove.

C'è anche una questione di scala da dire senza giri di parole. Su una valutazione umana in decimi, 6.93 contro 7.20 è una differenza piccola. Sta abbondantemente dentro l'intervallo in cui le immagini scelte per il test set e il gusto dei valutatori possono ribaltare la classifica. Uno scarto di quella entità è un indizio, non un verdetto.

La colonna dei costi è quella che tutti saltano

Ecco il numero che sarebbe dovuto stare nel titolo: un quinto del costo per immagine.

Se il modello A è il 4% migliore e costa 5 volte tanto, la risposta corretta per la maggior parte dei workflow non è "usa il modello A". È "usa B per l'ottanta per cento di frame facili e A per il venti per cento difficili". Non è un compromesso. La produzione ha sempre funzionato così, nessuno gira ogni fotogramma sul negativo più caro.

Il costo cambia anche il comportamento. Un modello che costa un quinto è un modello che puoi permetterti di sperimentare: cinque varianti invece di una, un secondo tentativo su una mano venuta male, un passaggio in più sullo sfondo. Il numero di iterazioni è una leva di qualità che non appare mai in un benchmark, ed è la ragione principale per cui i modelli economici vincono nella pratica più spesso di quanto suggeriscano i loro punteggi.

Lo stesso schema si vede nei dati di mercato delle API. Nell'indice gateway di Vercel di ottobre, un solo modello open weights economico ha gestito quasi metà dei token di settembre con meno del 3% della spesa. Il volume segue il prezzo, e differenze di qualità di qualche punto percentuale raramente sopravvivono al contatto con un budget.

Dove i numeri del fornitore contano ancora

Niente di tutto questo significa che i benchmark ufficiali siano inutili. Due delle affermazioni sono strutturalmente utili.

L'affermazione sull'efficienza dei parametri, punteggi migliori con il 38% di parametri in meno, è falsificabile e importante nella direzione, perché predice il deployment, non solo la qualità. Un backbone immagini da 5.6B più un encoder di testo da 4B e un upsampler di prompt da 9B opzionale non è la stessa cosa di un sistema da 5.6B, e il fatto che il modello piccolo abbia bisogno di un modello linguistico per scrivere buoni prompt è di per sé un risultato. I prompt brevi producono risultati mediocri; è un vincolo di deployment travestito da nota a piè di pagina.

Anche l'affermazione sulla latenza è utile, pur con una metodologia che favorisce la squadra di casa. Quattro-sette secondi al megapixel per un modello eseguibile in locale è il numero che decide se uno strumento interattivo sembra interattivo. Se stai costruendo una UI dove qualcuno trascina un riquadro e aspetta, quello è il numero che conta, e non sta su nessun grafico Elo.

Come leggere il prossimo lancio

Quattro domande, in questo ordine, e puoi saltare gran parte del grafico.

Qual era il test set? Se l'ha costruito il fornitore, trattalo come una demo, non come una misura.

Era cieco e di terze parti? Duecento attività reali con l'identità dei modelli nascosta valgono più di diecimila confronti del fornitore.

Su cosa ha fallito? Il modo in cui fallisce è la decisione di prodotto. "Peggiore sui cambi di posa" ti dice dove non usarlo.

Quanto è costato? Normalizza ogni punteggio sul prezzo prima di confrontare, e ricorda che il costo di un nuovo tentativo fa parte del costo di un modello.

Il modello che vince il grafico e quello che vince la tua pipeline spesso non sono lo stesso, e la distanza tra i due sta di solito in una colonna che nessuno cattura in uno screenshot.

La conclusione silenziosa

I modelli di immagini open weights sono diventati abbastanza buoni che la domanda aperta non è più se possono competere. In un test cieco da 200 attività, un modello aperto da 5.6B è arrivato a meno di tre decimi di punto da un concorrente chiuso, a un quinto del prezzo, e i disaccordi riguardavano tipi specifici di attività più che la capacità complessiva.

È un mercato maturo che si comporta da mercato maturo: nessun vincitore unico, routing per attività e una colonna dei costi che decide più deployment di qualunque benchmark. I grafici dei fornitori continueranno ad arrivare ogni mese. L'abilità utile è sapere quale dei tre numeri stai guardando davvero.