← Volver al blog
Aiaprox. 6 min de lectura

Rehicieron un modelo de visión propietario con datos públicos y le ganan en un benchmark

Publicado 14 nov 2026
Rehicieron un modelo de visión propietario con datos públicos y le ganan en un benchmark

Un grupo de investigación ha reproducido un modelo de visión propietario usando solo modelos y datos públicos, y en al menos un benchmark queda por delante.

La cifra es 73.9 mIoU zero-shot en Cityscapes con un modelo de 9B, frente a los 69.9 reportados para Vision Banana. Esa comparación es el titular. Los detalles de debajo sirven más.

Qué se construyó

Open Vision Banana sale del Fundamental AI Lab de la Universidad Tecnológica de Núremberg, con colaboradores de DLR, AIST, Tubinga, TUM y valeo.ai. El enfoque: afinar un generador de pesos abiertos ya existente, FLUX.2-Klein, en las escalas 4B y 9B, sobre entre 2.1 y 3.8 millones de pares de entrenamiento reunidos de datasets públicos como COCO-Stuff, ADE20K, BDD100K y NYUv2.

El encuadre importa. Aquí se recicla un generador para percepción: profundidad, segmentación, referring, razonamiento, y a la vez se conserva el comportamiento de edición de imagen con el que nació. La capacidad generativa del modelo base sobrevive al ajuste fino, y por eso el resultado interesa más allá del número de segmentación.

El 73.9 necesita una nota al pie

El dato zero-shot en Cityscapes depende de una técnica que los autores introducen y bautizan legend ensembling.

Una sola pasada hacia adelante da 65.4 mIoU. La diferencia hasta 73.9 viene de ejecutar el modelo varias veces con leyendas color-clase distintas y fusionar las salidas con un voto mayoritario por píxel. En Cityscapes suma 8.7 puntos. En COCO-Object suma 15.0.

Leído con honestidad, el titular dice que el modelo necesita varias pasadas para llegar ahí, y que el beneficio del método escala con lo mucho que la tarea gane al votar. En una tubería sensible a la latencia, donde una pasada es todo el presupuesto, lo que se obtiene es 65.4.

No es una crítica al paper. Los autores reportan las dos cifras, algo que muchas tablas de benchmark no hacen. Es un recordatorio de cómo leer una promesa de mIoU que llega sin columna de coste.

Dónde se abre la brecha

La victoria en segmentación no se traslada a todo, y el paper lo dice.

En segmentación referring y de razonamiento, las variantes que no son zero-shot quedan a menos de cinco puntos de Vision Banana. En segmentación de instancias se queda claro atrás: 37.4 cgF1 frente a 47.5 en SA-Co/Gold.

En estimación de profundidad, los resultados se describen como comparables a los mejores estimadores invariantes a la afinidad, una forma prudente de reclamar paridad en un campo lleno.

El cuadro completo: un modelo que iguala o supera la referencia propietaria en la tarea que los autores optimizaron, se acerca en dos tareas vecinas y se queda atrás en la separación a nivel de instancia. Así se ve una buena reproducción. Una que gane en todo daría sospecha.

La publicación es el aporte real

Las reproducciones académicas suelen entregar un paper y nada más. Esta entrega el pipeline de datos, el código de entrenamiento y evaluación, y los checkpoints finales e intermedios.

Esa combinación es la que vuelve verificable un resultado. Con checkpoints intermedios se ve si el modelo aprendió profundidad antes que segmentación o al revés, y se puede afinar desde un punto anterior en lugar de pagar la corrida completa.

El coste de cómputo también está dicho, cosa rara. Unas 73 horas en 16 GH200 para el 4B, y cerca de 79 horas en 32 GH200 para el 9B.

Esas cifras definen quién puede replicarlo. 16 GH200 es un clúster universitario o un laboratorio con fondos, no un portátil. 32 es una asignación seria. Que la receta sea pública no la vuelve barata, y que la variante 4B sirva casi tanto como la 9B es lo que la pone al alcance: dos nodos GH200 durante tres días es una solicitud de subvención, no un centro de datos.

Por qué importa reproducir un modelo propietario

Los resultados originales de Vision Banana eran interesantes justo porque nadie fuera de la empresa podía comprobarlos. Una reproducción que queda a pocos puntos en casi todas las tareas y por delante en una cambia el estatus de esos resultados: de una afirmación pasan a ser un objetivo.

Hay un efecto secundario que suele ignorarse. Cuando la evaluación de un modelo cerrado se reproduce sobre pesos abiertos, la comparación pasa a ser sobre datos y método, no sobre escala. Que un 9B iguale a un sistema propietario sugiere que la ventaja estaba en la mezcla de datos y en la formulación de las tareas, y eso es replicable.

El esfuerzo se concentra en construir el dataset. COCO-Stuff, ADE20K, BDD100K y NYUv2 son públicos, están anotados con fines distintos y ninguno se hizo para entrenar un modelo unificado que atienda profundidad, segmentación y edición a la vez. Sacar de ahí entre 2.1 y 3.8 millones de pares obliga a reconciliar espacios de etiquetas que no coinciden. Trabajo poco lucido, y probablemente donde se fue la mayor parte del tiempo.

Si la receta es portable, la siguiente pregunta es si el mismo truco funciona con otros modelos de percepción propietarios. El patrón es general: tomar un generador abierto potente, afinarlo sobre un conjunto grande de supervisión ensamblado, evaluar en varias tareas para que los huecos se vean. No hace falta arquitectura nueva, y eso es lo que lo vuelve incómodo para quien tenía su foso en una mezcla de entrenamiento sin publicar.

Un tercer efecto: el modelo base es un generador. Si los mismos pesos cubren profundidad, segmentación y edición, una tubería de producción puede cambiar tres modelos especializados y uno de edición por un solo checkpoint, a cambio de algo de precisión en el trabajo de instancia más difícil. Ese intercambio se mide con tus datos, no con Cityscapes.

Qué sacar de todo esto

La lección transferible está en la estructura de la afirmación, y el 73.9 es solo la envoltura: reproducir, reportar con honestidad la brecha por tarea, publicar los intermedios, declarar el cómputo.

Ante un titular del tipo "supera al modelo propietario", sirven las mismas tres preguntas. ¿La cifra incluye un truco en inferencia, y cuánto cuesta? ¿La victoria se sostiene en las tareas para las que el modelo no fue ajustado? ¿Alguien con un clúster más pequeño llega a pocos puntos con la receta publicada?

Open Vision Banana responde las tres en el texto, y por eso el paper merece leerse más allá del resumen.

Queda una pregunta abierta, y es la que haría un comprador. El paper demuestra que datos públicos y un modelo base público pueden reproducir las cifras de un sistema propietario. No demuestra que la reproducción sirva con las entradas sucias que un producto recibe de verdad: fotos mal iluminadas, capturas de capturas, imágenes con texto incrustado, recortes más pequeños que la distribución de entrenamiento. Benchmarks como Cityscapes son limpios por construcción.

En ese hueco ocurrirán las próximas comparaciones, y ahí un checkpoint abierto lleva ventaja sobre uno cerrado. Cualquiera puede probarlo mañana con sus propios datos.

Artículos relacionados