Doscientos edits reales, 0.27 puntos de diferencia: qué miden los benchmarks de imagen

Tres números, tres afirmaciones distintas

Cuando sale un modelo de imagen nuevo, recibes una nota de prensa con un gráfico. En el gráfico el modelo nuevo suele estar arriba, ordenado por una métrica que eligió el proveedor y medida sobre un conjunto que construyó el proveedor. Todo el sector lo sabe y aun así cita el gráfico, porque el primer día no hay otra cosa que citar.

El ejemplo más claro de este mes es FLUX 3 Image Klein, el lanzamiento de pesos abiertos de 5.6B de Black Forest Labs el 15 de octubre. En una semana circulaban tres conjuntos de cifras distintos, y su desacuerdo era instructivo.

Los números Elo del proveedor: primer puesto en texto a imagen, generación con múltiples referencias y edición de imagen entre los modelos de pesos abiertos, por delante de competidores más grandes. Contra su propio FLUX.2 klein 9B gana 91 Elo en texto a imagen y 70 en edición, usando 38% menos parámetros.

Los números de latencia del proveedor: una latencia mediana de API de 4.54 segundos en texto a imagen y 7.18 segundos en edición a un megapíxel, más rápido que los cuatro competidores nombrados. La nota metodológica añade que el modelo nuevo se cronometró en los servidores de BFL mientras que los demás se midieron desde el cliente, incluyendo sondeo y tiempo de red, y que un competidor se midió en su nivel medio en lugar del grande.

La prueba ciega de un tercero: 200 tareas reales de edición, 6.93 para Klein y 7.20 para Nano Banana 2.1, una diferencia de 0.27 puntos en una escala de diez, y la misma prueba encontró que Klein se queda corto en ajuste de pose y composición de varias imágenes. Coste por imagen: más o menos una quinta parte del competidor.

Ninguna de estas cifras es deshonesta. Responden a preguntas distintas, y la confusión viene de tratarlas como la misma pregunta.

Qué puede decirte Elo y qué no

Elo es una puntuación de preferencia. Dice que cuando se mostraron dos resultados a evaluadores humanos y se les preguntó cuál era mejor, uno se eligió más veces. Es una medición real, y es la medición correcta para "¿esto se ve mejor?".

También es una medición con un punto ciego concreto: aplasta el contexto de la tarea. Un modelo puede ganar una comparación Elo de media y perder estrepitosamente en lo único que necesitas que haga. Si tu trabajo son fotos de producto sobre blanco, cambios de pose o componer tres referencias en una escena coherente, esa media no es tu media.

El hallazgo más útil de la prueba ciega no es la puntuación. Es el modo de fallo. Doscientas tareas reales de edición, y los errores recurrentes estaban en pose y composición con múltiples referencias, justo las tareas donde se supone que ayuda la maquinaria de composición. Es una frase mucho más accionable que "0.27 puntos por detrás", porque te dice qué trabajos derivar a otro sitio.

También hay una cuestión de escala que conviene decir sin rodeos. En una valoración humana sobre diez, 6.93 frente a 7.20 es una diferencia pequeña. Está bien dentro del rango en el que las imágenes concretas elegidas para el conjunto de prueba y el gusto de los evaluadores pueden dar la vuelta al ranking. Una brecha de ese tamaño es una pista, no un veredicto.

La columna del coste es la que todo el mundo se salta

Aquí está el número que debería haber estado en el titular: una quinta parte del coste por imagen.

Si el modelo A es 4% mejor y 5 veces más caro, la respuesta correcta para la mayoría de flujos de trabajo no es "usa el modelo A". Es "usa B para el ochenta por ciento de fotogramas fáciles y A para el veinte por ciento difíciles". Eso no es un compromiso. Así ha funcionado siempre la producción, nadie rueda todos los planos con el negativo más caro.

El coste también cambia el comportamiento. Un modelo que cuesta una quinta parte es un modelo que te puedes permitir probar: cinco variantes en vez de una, un segundo intento con una mano que salió mal, una pasada extra en un fondo. El número de iteraciones es una palanca de calidad que nunca aparece en un benchmark, y es la razón principal por la que los modelos baratos ganan en la práctica más a menudo de lo que sugieren sus puntuaciones.

Es el mismo patrón en los datos del mercado de API. En el índice de gateway de Vercel de octubre, un solo modelo de pesos abiertos y barato gestionó casi la mitad de los tokens de septiembre con menos del 3% del gasto. El volumen sigue al precio, y las diferencias de calidad de unos pocos puntos porcentuales rara vez sobreviven al contacto con un presupuesto.

Dónde siguen importando los números del proveedor

Nada de esto significa que los benchmarks oficiales no valgan nada. Dos de las afirmaciones son estructuralmente útiles.

La afirmación sobre eficiencia de parámetros, mejores puntuaciones con 38% menos parámetros, es refutable e importante en su dirección, porque predice el despliegue, no solo la calidad. Un backbone de imagen de 5.6B más un codificador de texto de 4B y un upsampler de prompts de 9B opcional no es lo mismo que un sistema de 5.6B, y que el modelo pequeño necesite ayuda de un modelo de lenguaje para escribir buenos prompts es en sí mismo un hallazgo. Los prompts cortos producen resultados mediocres; es una restricción de despliegue disfrazada de nota al pie.

La afirmación sobre latencia también es útil, incluso con una metodología que favorece al equipo de casa. Cuatro a siete segundos por megapíxel para un modelo que se puede ejecutar en local es el número que decide si una herramienta interactiva se siente interactiva. Si estás construyendo una interfaz donde alguien arrastra un recuadro y espera, ese es el número que importa, y no está en ningún gráfico de Elo.

Cómo leer el próximo lanzamiento

Cuatro preguntas, en este orden, y puedes saltarte la mayor parte del gráfico.

¿Cuál era el conjunto de prueba? Si lo construyó el proveedor, trátalo como una demo, no como una medición.

¿Fue ciego y de terceros? Doscientas tareas reales con la identidad de los modelos oculta valen más que diez mil comparaciones del proveedor.

¿En qué falló? El modo de fallo es la decisión de producto. "Peor en cambios de pose" te dice dónde no usarlo.

¿Cuánto costó? Normaliza cada puntuación por el precio antes de comparar, y recuerda que el coste de un reintento forma parte del coste de un modelo.

El modelo que gana el gráfico y el que gana tu pipeline muchas veces no son el mismo, y la distancia entre ambos suele estar en una columna que nadie captura en pantalla.

La conclusión silenciosa

Los modelos de imagen de pesos abiertos se han vuelto lo bastante buenos como para que la pregunta abierta ya no sea si pueden competir. En una prueba ciega de 200 tareas, un modelo abierto de 5.6B quedó a menos de tres décimas de un competidor cerrado con un quinto del precio, y los desacuerdos eran sobre tipos de tarea concretos más que sobre capacidad general.

Es un mercado maduro comportándose como un mercado maduro: sin un ganador único, enrutamiento por tarea y una columna de coste que decide más despliegues que cualquier benchmark. Los gráficos de los proveedores seguirán llegando cada mes. La habilidad útil es saber cuál de los tres números estás mirando en realidad.