← Voltar ao blog
Aicerca de 6 min de leitura

Refizeram um modelo de visão proprietário com dados públicos e passam à frente num benchmark

Publicado 14 de nov. de 2026
Refizeram um modelo de visão proprietário com dados públicos e passam à frente num benchmark

Um grupo de pesquisa reproduziu um modelo de visão proprietário usando apenas modelos e dados públicos, e em pelo menos um benchmark sai na frente.

A nota é 73.9 mIoU zero-shot no Cityscapes com um modelo 9B, contra 69.9 reportados para o Vision Banana. Essa comparação é a manchete. Os detalhes abaixo servem mais.

O que foi construído

O Open Vision Banana vem do Fundamental AI Lab da Universidade Tecnológica de Nuremberg, com colaboradores do DLR, AIST, Tübingen, TUM e valeo.ai. A abordagem: ajustar um gerador de pesos abertos já existente, o FLUX.2-Klein, nas escalas 4B e 9B, sobre algo entre 2.1 e 3.8 milhões de pares de treino montados a partir de datasets públicos como COCO-Stuff, ADE20K, BDD100K e NYUv2.

O enquadramento importa. Aqui um gerador é reaproveitado para percepção: profundidade, segmentação, referring, raciocínio, mantendo o comportamento de edição de imagem com que nasceu. A capacidade de geração do modelo base sobrevive ao ajuste fino, e é por isso que o resultado interessa além da nota de segmentação.

O 73.9 precisa de uma nota de rodapé

O número zero-shot no Cityscapes depende de uma técnica que os autores introduzem e batizam de legend ensembling.

Uma única passada para frente dá 65.4 mIoU. A distância até 73.9 vem de rodar o modelo várias vezes com legendas cor-classe diferentes e fundir as saídas por voto majoritário por pixel. No Cityscapes isso soma 8.7 pontos. No COCO-Object soma 15.0.

Lendo com honestidade, a manchete diz que o modelo precisa de várias passadas para chegar lá, e que o ganho do método escala com o quanto a tarefa se beneficia de votação. Numa pipeline sensível a latência, onde uma passada é todo o orçamento, o que se obtém é 65.4.

Não é uma crítica ao paper. Os autores reportam os dois números, o que muita tabela de benchmark não faz. É um lembrete sobre como ler uma promessa de mIoU que chega sem coluna de custo.

Onde a diferença aumenta

A vitória na segmentação não se transporta para tudo, e o paper diz isso.

Em segmentação referring e de raciocínio, as variantes que não são zero-shot ficam a menos de cinco pontos do Vision Banana. Em segmentação de instâncias fica claramente atrás: 37.4 cgF1 contra 47.5 no SA-Co/Gold.

Na estimativa de profundidade, os resultados são descritos como comparáveis aos melhores estimadores invariantes a afim, um jeito cauteloso de reivindicar paridade num campo cheio.

O quadro geral: um modelo que iguala ou supera a referência proprietária na tarefa que os autores otimizaram, chega perto em duas tarefas vizinhas e fica atrás na separação em nível de instância. Uma boa reprodução é assim. Uma que vença em tudo seria suspeita.

O lançamento é a contribuição real

Reproduções acadêmicas costumam entregar um paper e nada mais. Esta entrega o pipeline de dados, o código de treino e avaliação, e os checkpoints finais e intermediários.

É essa combinação que torna um resultado verificável. Com checkpoints intermediários, dá para ver se o modelo aprendeu profundidade antes de segmentação ou o contrário, e dá para ajustar a partir de um ponto anterior em vez de pagar a rodada inteira.

O custo de computação também está declarado, o que é raro. Cerca de 73 horas em 16 GH200 para o 4B, e umas 79 horas em 32 GH200 para o 9B.

Esses números definem quem consegue replicar. 16 GH200 é um cluster universitário ou um laboratório bem financiado, não um notebook. 32 é uma alocação séria. A receita pública não a torna barata, e o fato de a variante 4B valer quase tanto quanto a 9B é o que a deixa ao alcance: dois nós GH200 por três dias é um pedido de fomento, não um data center.

Por que reproduzir um modelo proprietário importa

Os resultados originais do Vision Banana eram interessantes justamente porque ninguém fora da empresa podia conferi-los. Uma reprodução que fica a poucos pontos na maioria das tarefas e à frente em uma muda o status desses resultados: de afirmação passam a ser alvo.

Há um efeito secundário que costuma passar batido. Quando a avaliação de um modelo fechado é reproduzida sobre pesos abertos, a comparação passa a ser sobre dados e método, não sobre escala. Um 9B que empata com um sistema proprietário sugere que a vantagem estava na mistura de dados e na formulação das tarefas, e isso é replicável.

O esforço maior está na construção do dataset. COCO-Stuff, ADE20K, BDD100K e NYUv2 são todos públicos, anotados para fins diferentes, e nenhum foi feito para treinar um modelo unificado que lide com profundidade, segmentação e edição ao mesmo tempo. Tirar dali 2.1 a 3.8 milhões de pares exige conciliar espaços de rótulos que não batem. Trabalho pouco glamouroso, e provavelmente onde foi a maior parte do tempo.

Se a receita é portátil, a próxima pergunta é se o mesmo truque funciona com outros modelos de percepção proprietários. O padrão é geral: pegar um gerador aberto forte, ajustá-lo num conjunto grande de supervisão montado, avaliar em várias tarefas para que os buracos apareçam. Não exige arquitetura nova, e é isso que o torna incômodo para quem tinha o fosso numa mistura de treino não publicada.

Um terceiro efeito: o modelo base é um gerador. Se os mesmos pesos cobrem profundidade, segmentação e edição, uma pipeline de produção pode trocar três modelos especializados e um de edição por um único checkpoint, ao custo de alguma precisão no trabalho de instância mais difícil. Essa troca se mede com os seus dados, não com o Cityscapes.

O que tirar disso

A lição transferível está na estrutura da afirmação, e o 73.9 é só a casca: reproduzir, relatar com honestidade a diferença por tarefa, publicar os intermediários, declarar a computação.

Diante de uma manchete do tipo "supera o modelo proprietário", valem as mesmas três perguntas. O número inclui algum truque de inferência, e a que custo. A vitória se sustenta nas tarefas para as quais o modelo não foi ajustado. Alguém com um cluster menor chega a poucos pontos com a receita publicada.

O Open Vision Banana responde às três no texto, e por isso o paper merece ser lido além do resumo.

Fica uma pergunta em aberto, e é a que um comprador faria. O paper mostra que dados públicos e um modelo base público conseguem reproduzir os números de um sistema proprietário. Não mostra que a reprodução serve nas entradas sujas que um produto recebe de verdade: fotos mal iluminadas, prints de prints, imagens com texto embutido, recortes menores que a distribuição de treino. Benchmarks como o Cityscapes são limpos por construção.

É nesse vão que vão acontecer as próximas comparações, e é ali que um checkpoint aberto leva vantagem sobre um fechado. Qualquer um pode testá-lo amanhã com os próprios dados.

Artigos relacionados