Duzentos edits reais, 0.27 ponto de diferença: o que os benchmarks de imagem medem

Três números, três afirmações diferentes

Quando sai um modelo de imagem novo, você recebe um press release com um gráfico. No gráfico, o modelo novo costuma estar no topo, ordenado por uma métrica que o fornecedor escolheu, medida num conjunto que o fornecedor montou. Todo mundo do setor sabe disso e cita o gráfico mesmo assim, porque no primeiro dia não há outra coisa para citar.

O exemplo mais claro deste mês é o FLUX 3 Image Klein, o lançamento de pesos abertos de 5.6B da Black Forest Labs em 15 de outubro. Em uma semana circulavam três conjuntos de números diferentes, e a discordância entre eles era instrutiva.

Os números de Elo do fornecedor: primeiro lugar em texto para imagem, geração com múltiplas referências e edição de imagem entre os modelos de pesos abertos, à frente de concorrentes maiores. Contra o próprio FLUX.2 klein 9B, ganha 91 Elo em texto para imagem e 70 em edição, usando 38% menos parâmetros.

Os números de latência do fornecedor: latência mediana de API de 4.54 segundos em texto para imagem e 7.18 segundos em edição a um megapixel, mais rápido que os quatro concorrentes citados. A nota de metodologia acrescenta que o modelo novo foi cronometrado nos servidores da própria BFL, enquanto os outros foram medidos do cliente, incluindo polling e tempo de rede, e que um concorrente foi medido na sua faixa média em vez da grande.

O teste cego de terceiros: 200 tarefas reais de edição, 6.93 para o Klein e 7.20 para o Nano Banana 2.1, uma diferença de 0.27 ponto numa escala de dez, com o mesmo teste apontando que o Klein tem dificuldade em ajuste de pose e composição de várias imagens. Custo por imagem: cerca de um quinto do concorrente.

Nenhum desses números é desonesto. Eles respondem a perguntas diferentes, e a confusão vem de tratá-los como a mesma pergunta.

O que o Elo pode e não pode dizer

Elo é uma pontuação de preferência. Diz que, quando avaliadores humanos viram duas saídas e foram perguntados qual era melhor, uma foi escolhida mais vezes. É uma medição real, e é a medição certa para "isto parece melhor".

Também é uma medição com um ponto cego específico: ela achata o contexto da tarefa. Um modelo pode ganhar uma comparação de Elo na média e perder feio na única coisa que você precisa que ele faça. Se o seu trabalho é foto de produto em fundo branco, mudança de pose ou compor três referências numa cena coerente, essa média não é a sua média.

O achado mais útil do teste cego não é a pontuação. É o modo de falha. Duzentas tarefas reais de edição, e os erros recorrentes estavam em pose e composição com múltiplas referências, exatamente as tarefas em que a mecânica de layout deveria ajudar. É uma frase muito mais acionável que "0.27 ponto atrás", porque diz quais trabalhos mandar para outro lugar.

Há também uma questão de escala que vale dizer sem rodeios. Numa avaliação humana de zero a dez, 6.93 contra 7.20 é uma diferença pequena. Está bem dentro da faixa em que as imagens escolhidas para o conjunto de teste e o gosto dos avaliadores podem virar o ranking. Uma diferença desse tamanho é uma pista, não um veredito.

A coluna do custo é a que todo mundo pula

Aqui está o número que deveria estar na manchete: um quinto do custo por imagem.

Se o modelo A é 4% melhor e 5 vezes mais caro, a resposta correta para a maioria dos fluxos de trabalho não é "use o A". É "use o B para os oitenta por cento de frames fáceis e o A para os vinte por cento difíceis". Isso não é concessão. Produção sempre funcionou assim, ninguém filma todos os quadros no negativo mais caro.

Custo também muda comportamento. Um modelo que custa um quinto é um modelo que você pode se dar ao luxo de testar: cinco variações em vez de uma, uma segunda tentativa numa mão que saiu errada, uma passada extra no fundo. O número de iterações é uma alavanca de qualidade que nunca aparece num benchmark, e é o principal motivo pelo qual modelos baratos ganham na prática mais vezes do que as pontuações sugerem.

É o mesmo padrão nos dados de mercado de API. No índice de gateway da Vercel de outubro, um único modelo de pesos abertos barato processou quase metade dos tokens de setembro respondendo por menos de 3% do gasto. Volume segue preço, e diferenças de qualidade de alguns pontos percentuais raramente sobrevivem ao contato com um orçamento.

Onde os números do fornecedor ainda importam

Nada disso significa que os benchmarks oficiais não valham nada. Duas das afirmações são estruturalmente úteis.

A afirmação de eficiência de parâmetros, pontuações melhores com 38% menos parâmetros, é falseável e importante em termos de direção, porque prevê implantação, não só qualidade. Um backbone de imagem de 5.6B mais um codificador de texto de 4B e um upsampler de prompt de 9B opcional não é a mesma coisa que um sistema de 5.6B, e o fato de o modelo pequeno precisar da ajuda de um modelo de linguagem para escrever bons prompts já é um achado. Prompts curtos produzem resultados medíocres; é uma restrição de implantação disfarçada de nota de rodapé.

A afirmação de latência também é útil, mesmo com uma metodologia que favorece o time da casa. Quatro a sete segundos por megapixel para um modelo que roda localmente é o número que decide se uma ferramenta interativa parece interativa. Se você está construindo uma interface em que alguém arrasta uma caixa e espera, esse é o número que importa, e ele não está em nenhum gráfico de Elo.

Como ler o próximo lançamento

Quatro perguntas, nesta ordem, e você pode pular a maior parte do gráfico.

Qual era o conjunto de teste? Se foi montado pelo fornecedor, trate como demo, não como medição.

Foi cego e de terceiros? Duzentas tarefas reais com a identidade dos modelos escondida valem mais que dez mil comparações do fornecedor.

No que ele falhou? O modo de falha é a decisão de produto. "Pior em mudanças de pose" diz onde não usar.

Quanto custou? Normalize cada pontuação pelo preço antes de comparar, e lembre que o custo de uma nova tentativa faz parte do custo de um modelo.

O modelo que ganha o gráfico e o que ganha o seu pipeline muitas vezes não são o mesmo, e a distância entre eles costuma estar numa coluna que ninguém printa.

A conclusão silenciosa

Modelos de imagem de pesos abertos ficaram bons o suficiente para que a pergunta em aberto não seja mais se eles conseguem competir. Num teste cego de 200 tarefas, um modelo aberto de 5.6B ficou a menos de três décimos de um concorrente fechado, por um quinto do preço, e as discordâncias eram sobre tipos específicos de tarefa, não sobre capacidade geral.

É um mercado maduro se comportando como mercado maduro: sem vencedor único, roteamento por tarefa e uma coluna de custo que decide mais implantações do que qualquer benchmark. Os gráficos dos fornecedores vão continuar chegando todo mês. A habilidade útil é saber qual dos três números você está realmente olhando.