Un modelo de 1.6B dejó de traducir imágenes a tokens y superó a las arquitecturas que sí lo hacen

Un equipo de la Huazhong University of Science and Technology (HUST), en colaboración con Horizon Robotics, publicó este mes un artículo sobre una arquitectura multimodal que no toma ninguno de los dos caminos que todos los demás han recorrido. El modelo se llama MF-1. Tiene 1.6 mil millones de parámetros, se entrenó desde cero con 150 mil millones de tokens y supera a ambos enfoques establecidos en una comparación controlada con datos y presupuesto de cómputo idénticos.
El resultado importa menos por los números del benchmark que por lo que dice sobre cuánto del entrenamiento multimodal actual se está desperdiciando en arquitectura.
Los dos caminos, y lo que cuesta cada uno
Desde hace unos años hay dos formas de meter lenguaje e imágenes en el mismo modelo.
El camino totalmente discreto, el de Chameleon y Emu3, cuantiza las imágenes en tokens discretos para que todo se vuelva una larga secuencia de enteros y un solo objetivo autorregresivo. Es elegante y tiene un techo duro: el tokenizer visual tira el detalle de alta frecuencia durante la cuantización. La textura fina, el texto pequeño y los degradados sutiles se aplanan antes de que el modelo llegue a verlos. Se puede mejorar el tokenizer, y hay quien lo ha hecho, pero el techo es estructural.
El camino híbrido, el de Transfusion y JanusFlow, mantiene el texto discreto y las imágenes continuas. El texto pasa por predicción del siguiente token. Las imágenes pasan por un proceso de difusión. Esto evita por completo el cuello de botella de la cuantización y crea otro problema: el modelo ahora mantiene dos funciones objetivo y dos pipelines de muestreo, y lograr que se optimicen de forma conjunta es un proyecto de ingeniería y no una pregunta de investigación. Cada ablación cuesta el doble.
Ambos caminos implican traducir una modalidad al formato de la otra. Ese es el compromiso que Multimodal Flow rechaza.
Un objetivo, dos formatos nativos
El diseño mantiene el lenguaje en su espacio de embedding continuo y las imágenes en el suyo, y comparte un único objetivo de Flow Matching entre ambos.

En concreto: el texto se parte en bloques de ocho tokens, cada bloque codificado por un T5-small congelado en un text hyperchunk continuo. Las imágenes pasan por un codificador SigLIP2 congelado y salen como una rejilla espacial de 16 por 16, que forma un visual hyperchunk. Los hyperchunks se encadenan en una sola secuencia en el orden que pida la tarea y se introducen en un Chunk-Causal Flow backbone compartido.
La máscara de atención es la parte ingeniosa. Al predecir el k-ésimo hyperchunk, todos los hyperchunks anteriores son totalmente visibles, las posiciones dentro del bloque actual se modelan de forma conjunta y los bloques posteriores quedan enmascarados. La causalidad se mantiene a granularidad de bloque, y la información fluye libremente dentro de un bloque. Eso es lo que permite que un hyperchunk visual de 256 celdas se genere como una imagen coherente en lugar de 256 decisiones independientes.
La segunda decisión de diseño es un híbrido dentro del transformer. Las capas de atención se comparten, así que lenguaje y visión pueden atenderse entre sí. Las capas FFN siguen siendo específicas de cada modalidad, porque las estadísticas de representación de ambas difieren lo suficiente como para que forzarlas por un solo bloque feedforward perjudique. Las ablaciones del artículo supuestamente lo confirman, y ese es el tipo de detalle que le ahorra tres meses a todos los demás.
Los bloques de texto tienen ocho tokens de largo, lo cual es un compromiso deliberado. Bloques más pequeños dan control más fino y más posiciones de secuencia. Bloques más grandes abaratan la máscara causal. Ocho es donde aterrizó el intercambio.
Los números
Texto a imagen: GenEval global 0.821, alineación con prompts largos en DPG-Bench 83.44. En la subtarea de conteo de GenEval, MF-1 llega a 0.73, muy por delante de los modelos unificados de la misma escala. El conteo ha sido una vergüenza para las arquitecturas unificadas porque exige vincular un número a varias instancias, y modelar un bloque visual de forma conjunta resulta que ayuda.
Comprensión: VQAv2 72.6, MMBench 67.2, POPE 86.1, promedio 75.3. Ese promedio supera a algunos modelos del mismo tamaño inicializados desde un modelo de lenguaje preentrenado, y eso es lo sorprendente. Partir de un LLM preentrenado suele ser rendimiento gratis.
La comparación controlada es la parte que hace que el artículo valga la pena. Mismos datos, mismo presupuesto de parámetros, mismo optimizador, y Multimodal Flow supera tanto al híbrido estilo Transfusion como a la arquitectura discreta estilo Chameleon en GenEval, GQA, VQAv2 y MMBench. No por un punto en un benchmark. En todo el conjunto.
Por qué el conteo es la prueba que importa
De todas las subtareas de GenEval, el conteo es la que separa las arquitecturas con más limpieza.
Pedirle a un modelo tres manzanas rojas exige dos cosas a la vez. Tiene que representar el número tres y tiene que vincular ese número a tres instancias distintas de un objeto, cada una de las cuales debe ser roja y tener forma de manzana. Los modelos de tokens discretos tienden a producir dos o cuatro. Los modelos de difusión tienden a producir un grupo plausible y esperar que nadie cuente. Los sistemas híbridos se acercan más porque el lado de la imagen es continuo, pero el lado del texto todavía tiene que entregar una cardinalidad que sobreviva al traspaso.
Que MF-1 saque 0.73 en esa subtarea importa más que el 0.821 global, porque el número global está sostenido en parte por prompts fáciles sobre colores y objetos simples.
Por qué 150 mil millones de tokens es la verdadera afirmación
Los modelos multimodales de frontera se entrenan con cantidades de tokens en los billones. MF-1 usó 150 mil millones, con 1.6 mil millones de parámetros, y llegó a GenEval 0.821.
Si eso escala, cambia un supuesto. El consenso actual es que los modelos multimodales unificados son caros porque necesitan datos enormes para aprender bien ambas modalidades. Este artículo sugiere que buena parte de ese costo era la arquitectura pagando el compromiso: cuantizar imágenes cuesta calidad, así que se recupera con más datos; mantener dos objetivos cuesta eficiencia de optimización, así que se recupera con más cómputo.
Quita el compromiso y el mismo presupuesto llega más lejos. Si eso se sostiene con 10 mil millones o 100 mil millones de parámetros queda sin respuesta, y el artículo no afirma que lo haga. El equipo dice explícitamente que esta es una escala con una mezcla de datos.
Hay una implicación de segundo orden que conecta con otros trabajos de este año. Una línea de investigación aparte ha intentado quitar el VAE de la generación de imágenes por completo, con el argumento de que comprimir una imagen a un latente y volver a sacarla pierde información que nadie pidió perder. Multimodal Flow conserva el codificador y deja de tratar su salida como algo que debe reexpresarse en tokens parecidos al lenguaje. El hyperchunk visual sigue siendo visual de principio a fin. Es el mismo instinto.
Lo que esto no resuelve
Tres límites que vale la pena enunciar.
Los codificadores están congelados. T5-small y SigLIP2 no se entrenaron de forma conjunta con el flow backbone, lo que significa que el techo de calidad de la representación se fija en otro lugar. Un codificador entrenado de forma conjunta probablemente rendiría mejor, y costaría mucho más.
La resolución de imagen es de 16 por 16 en términos de rejilla latente, lo cual está bien para GenEval y es insuficiente para cualquier cosa que involucre renderizado de texto o detalle fino. La calidad de generación en alta resolución no es el tema de este artículo.
Y esto es un artefacto de investigación. El código está en GitHub en hustvl/Multimodal-Flow, los pesos son un punto de partida más que un producto, y no hay API alojada. Nadie va a reemplazar su pipeline de imágenes con esto la semana que viene.
Lo que hace es estrechar el espacio de futuros plausibles. Si un modelo totalmente continuo de 1.6B puede superar a ambas arquitecturas unificadas establecidas con el mismo presupuesto, entonces la siguiente ronda de modelos fundacionales multimodales tiene una tercera opción de diseño que no existía en la conversación hace seis meses. Para un campo que ha gastado mucho cómputo discutiendo sobre tokenizers, eso es algo útil que tener sobre la mesa.
Artículos relacionados
Una hoja de cálculo comunitaria de toques que apaga la publicidad de los Android chinos
No toca el sistema, no desbloquea nada, no flashea nada. Solo mueve los interruptores que los fabricantes ya dejaron a la vista. El precio es una lista que alguien tiene que seguir escribiendo.
GPT Image 2.6 mantuvo el precio por token y subió la factura
GPT Image 2.6 mantiene cada tarifa por token de 2.5 y aun así cuesta más por imagen, porque buena parte del trabajo ocurre ahora en tokens de salida. Once días después del lanzamiento, la estructura de precios dice más que el ranking.
Alguien reconstruyó IDM desde fuera y anotó lo que no tocó
Una reimplementación en Rust de Internet Download Manager promete 5 veces la velocidad y 86 idiomas. El documento más interesante es el párrafo que explica cómo se construyó sin copiar nada.
Rune es un framework de UI en Rust creado para que un agente pueda comprobar su propio trabajo
Rune renderiza sin interfaz, vuelca su árbol de elementos y acepta entrada programada, lo que da a un agente de código una señal diffeable que una captura nunca ofrece. El framework está en prelanzamiento y no acepta pull requests.