El último eslabón del pipeline de H3 ya es código abierto

En la última semana de octubre apareció en Hugging Face un conjunto de pesos llamado Open-H3-Regenerate-2K. El nombre es enrevesado; el origen, muy sólido: el equipo Efficient-Large-Model, formado conjuntamente por NVIDIA y el MIT, con el código de inferencia en el repositorio NVlabs/Sana.

Lo que hace se explica en una frase: toma un borrador de vídeo de baja resolución y lo regenera en versión de alta definición. Admite 2560×1440 y llega hasta 3840×2160. Con una condición: que el borrador lo haya generado H3 de MiniMax.

La forma en que esta noticia circuló en China fue distinta a la del exterior. Fuera se habla de la aparición de otro conjunto de pesos abiertos; en Bilibili se discute otra cosa: cómo mantener la coherencia. A finales de octubre, un tutorial de ComfyUI que combinaba Z-Image con Wan2.2 se llevó la mejor puntuación del día, y en los comentarios solo se preguntaba si la cara del personaje va a cambiar y si los planos van a empalmar. Lo que de verdad preocupa no es el nivel de calidad de imagen, sino si la persona de un vídeo sigue siendo la misma persona.

El pipeline de H3 estaba roto en el último eslabón

MiniMax H3 publicó sus pesos en agosto. La empresa divide el sistema en tres tramos: procesamiento de contexto multimodal, generación base de audio y vídeo, y regeneración de alta resolución. Solo están abiertos el primero y, dentro del segundo, H3-Base, el encargado de producir audio y vídeo en 768P. El tercero, H3-Regenerate-2K, el que lleva el 768P hasta 2K, siempre se ha ofrecido únicamente por API.

El reparto tiene sentido. El modelo generativo se ocupa del qué hay, el de refinado del con qué nitidez. El problema es que, en cuanto el último eslabón solo existe como API, el flujo de trabajo del creador local se atasca justo ahí: se puede llegar a 768P con la tarjeta de casa, pero para tener una copia que aguante una pantalla grande hay que subir el material, pagar por uso y aceptar la cola del servidor ajeno.

Lo que han hecho NVIDIA y el MIT es cubrir ese eslabón. No tocaron el backbone de H3 ni el VAE de vídeo, congelaron todos los parámetros y entrenaron solo una capa LoRA de refinado añadida para la ocasión: más o menos ponerle unas gafas al modelo original. En inferencia, esa LoRA se fusiona con adaptadores que ya existen en la comunidad, como FL2VA Turbo de LightX2V o LMS Sharp, y luego solo se ejecutan tres pasos de denoising para que el detalle vuelva a crecer en la resolución objetivo. La escena, la composición y la trayectoria del movimiento del borrador se conservan; lo único que se sustituye es la nitidez.

De dónde sale el factor 3,9

Cuando la comunidad abierta hace restauración en alta definición, lo que asusta no es un mal resultado, sino una lentitud que lo vuelve inutilizable. Las condiciones que publicó el equipo: una sola B200, un clip de 5 segundos tras el calentamiento, sumando el escalado en espacio latente, los tres pasos de refinado y la decodificación 2K. La implementación sin optimizar tarda 87.26 segundos; la optimizada, 22.45 segundos. Unas 3.9 veces menos.

La aceleración viene sobre todo de dos sitios. Uno es el escalador latente, obra de la comunidad: amplía directamente la representación latente del vídeo y elimina el coste de decodificar y recodificar una y otra vez en alta resolución. El otro es el decodificador: al pasar a una decodificación VAE rápida, ese solo paso baja de unos 15 segundos a 1.6 segundos. A eso se suman la atención dispersa de SoL-Engine y el cálculo en baja precisión.

La cifra solo se entiende en un caso concreto. Para un corto de 30 segundos, contando seis tramos de 5 segundos, 22 segundos por tramo son algo más de dos minutos de regeneración, sin contar la cola ni las repeticiones tras un fallo. Antes este proceso se llevaba un cuarto de hora largo y durante ese rato no te atrevías ni a cambiar de ventana. Ahora al menos se puede hacer otra cosa mientras corre.

Claro que la B200 no es una tarjeta para cualquiera. En una GPU de consumo, el mismo proceso multiplica el tiempo varias veces. La empresa no ha dado datos de la 4090 ni de la 5090: eso hay que probarlo por cuenta propia.

Puntúa más que la API oficial, pero en puntos muy concretos

El equipo comparó en RefinerBench-150, con entradas idénticas y salidas todas en 2K. En UniPercept, la evaluación de calidad perceptiva, esta versión abierta promedia 60.0 frente a 53.4 de la API oficial de H3-Regenerate-2K. Una diferencia de 6.6 puntos.

En VBench la conclusión es más interesante: calidad estética, calidad de imagen y coherencia del sujeto van a favor de la versión abierta; la suavidad del movimiento y el dinamismo se los lleva por poco la API oficial. Traducido: la versión abierta deja cada fotograma más bonito y más estable, a cambio de que el movimiento quede corregido con cierta prudencia. Para talking heads, presentaciones de producto o material documental, donde manda la composición estática, es ganancia; para peleas, baile o movimientos de cámara rápidos, puede no compensar.

Hay otro detalle que merece atención: la coherencia del sujeto puntúa más alto. Justo el punto que más preocupa a la comunidad china. Donde más falla la regeneración es en las caras y en las texturas de la ropa: corregir fotograma a fotograma acaba convirtiendo al protagonista en otra persona. Los datos indican que, al menos en el tramo de 2K, el refinado suma a la hora de preservar la identidad.

Su lugar: no es un modelo nuevo, es un parche del pipeline

Para entender su valor, mejor no mirarlo como un modelo. Es middleware.

En el último año, el progreso de la generación de vídeo se ha dado sobre todo en si se puede generar y cuánto se puede alargar. Ahora el rendimiento marginal de ambas cosas baja y el cuello de botella se ha desplazado hacia atrás: qué hacer cuando el borrador ya está. La práctica habitual del sector es sacar primero un borrador en baja resolución con un método barato y rápido, confirmar el storyboard, el ritmo y los personajes, y luego mandar los planos definitivos a la puesta en alta definición. Ese paso, antes una API de pago o un reescalado manual, cuenta ahora con una implementación abierta que uno mismo puede desplegar.

Para el creador independiente, eso cambia la estructura de costes: compras la tarjeta una vez y luego pagas electricidad. Para un equipo pequeño, significa poder programar la puesta en alta definición en el procesamiento por lotes nocturno y recoger el material a la mañana siguiente. Para las plataformas, significa dejar de pagar un peaje por cada regeneración.

Tampoco es gratis. Hacen falta los pesos de H3-Base, aceptar el techo de calidad de un borrador en 768P y tener VRAM suficiente para aguantar la decodificación 2K. Si el borrador ya viene mal compuesto o con el personaje equivocado, la regeneración solo dejará el error más nítido.

El ecosistema ya va por delante del modelo

Desde que H3 se abrió en agosto, más de 24 millones de descargas en un mes y más de 300 modelos derivados públicos: uno de los más descargados del año. Su cadena de herramientas crece rápido: LightX2V sacó versiones Turbo destiladas de cuatro y ocho pasos, el ajuste comunitario Singularity se especializa en movimiento, rostro y estilo, FastVideo publicó un adelanto de FastH3 en cuatro pasos, Pika un H3 Flex de seis pasos de muestreo, y ComfyUI y Unsloth aportaron cada uno su adaptación y su cuantización.

El propio equipo de NVIDIA y el MIT no se ha parado: además de esta mejora de vídeo, han publicado StreamRender-H3, un modelo de renderizado en streaming basado en H3 Ref2VA, y Sol-H3-VAE, un decodificador rápido destilado del VAE de vídeo de H3.

Ese ritmo, modelo base abierto y módulos superiores que equipos externos van completando uno a uno, es en realidad la primera vez que el ecosistema de vídeo abierto funciona así. Trae un efecto secundario: la ventaja relativa de la API oficial se encoge. Cuando uno puede conseguir en local, con tres pasos de denoising, una puntuación perceptiva mayor, el motivo para pagar pasa de se ve mejor a me ahorra trabajo.

¿Merece la pena probarlo?

Si ya produces con H3, este repositorio merece un clonado y una pasada. Fíjate en dos cosas: la coherencia del sujeto de tu material en 2K y si tu tarjeta termina la decodificación en un tiempo aceptable. Si solo generas algún corto de vez en cuando, la API oficial sigue siendo más cómoda: los 22 segundos de regeneración en la nube los espera otro por ti.

Lo que de verdad importa es la dirección. La generación de vídeo está pasando de todo de una vez a un proceso en dos fases, borrador y acabado, y la fase de acabado ya tiene opción abierta. En los próximos seis meses, lo que decida la productividad de un creador quizá no sea con qué modelo genera, sino lo bien engrasado que esté su pipeline de posproducción.