anymove: un vídeo de IA con dos vistas basta para animar una criatura

La captura de movimiento tiene un problema de escala del que nadie habla, y no es el precio del traje. Es que la captura está pensada para humanos —dos piernas, un esqueleto conocido, una altura de cadera estándar— y en el momento en que tu personaje es un dragón, una araña gigante o un demonio de fuego, el pipeline entero deja de aplicarse.
Los juegos y el cine resuelven esto con animadores. Un animador mira una referencia y luego anima a mano las extremidades de la criatura, fotograma a fotograma, porque la referencia es un humano caminando y el objetivo es algo con seis patas y una cola. Ese es el trabajo real. Y es también la razón de que la animación de criaturas sea una de las partidas más caras de una producción que tiene muchas.
anymove, de Patch, es un intento de automatizar ese hueco concreto. Tiene 452 estrellas, apareció el 27 de octubre y hace una sola cosa: convertir un único vídeo de una criatura generado por IA en un GLB con esqueleto y animación.
Lo interesante es el truco que usa para llegar ahí, y el truco va de cámaras.
Dos vistas en un solo fotograma
La captura humana funciona porque varias cámaras ven el mismo cuerpo desde ángulos distintos y la intersección de esas líneas de visión da una posición 3D. Una cámara te da una posición 2D sobre un plano, y un plano no es un cuerpo.
No puedes poner dos cámaras alrededor de un clip generado por IA, porque el clip no existe en 3D. Son píxeles.
Así que anymove le pide al modelo de vídeo algo un poco raro: filmar a la misma criatura de frente y de perfil, a la vez, en el mismo fotograma. Un díptico: dos paneles uno al lado del otro, una criatura, dos puntos de vista, moviéndose sincronizados.
Ahora vuelves a tener dos líneas de visión. La vista frontal te da X e Y. La lateral te da Z e Y. Las cruzas y una articulación tiene una posición 3D, recuperada de un vídeo plano, sin modelo de profundidad y sin un equipo de varias cámaras.
El repositorio se llamaba antes diptych, y el cambio a anymove tiene sentido como decisión de producto, pero el nombre viejo describía el mecanismo con más honestidad. El fotograma de dos paneles es el invento. Todo lo demás es fontanería.

El pipeline, etapa por etapa
Generar el clip. Un vídeo de IA por movimiento. El README lo cifra en $0.26 por clip: el dragón, la araña gigante, el demonio de fuego y el lobo de las demos se hicieron así. El prompt tiene que mantener la composición en díptico estable, que es el único punto donde todo el enfoque puede fracasar: si el modelo desplaza el encuadre entre paneles, las dos vistas dejan de corresponderse y la triangulación es basura.
Leer las articulaciones. Un lector basado en DINOv2 encuentra cada articulación en ambas vistas. Ese es el modelo que se entrena, y es la parte cara: 24GB de VRAM para el entrenamiento. Leer, después, necesita mucho menos.
Encajar el esqueleto. Las dos vistas «se levantan como paredes y fijan cada articulación en 3D», por usar la imagen del README. Luego el esqueleto se ajusta a los puntos recuperados. La salida es una animación de huesos, no una nube de puntos, y eso es lo que la hace utilizable después.
Exportar. Un GLB, más un showcase.mp4 que pone la animación al lado del clip original para que puedas compararlos sin mentirte.
Ese último artefacto es el mismo instinto que se ve en las mejores herramientas de agentes de este año: genera siempre la comparación lado a lado, porque el modelo te dirá encantado que ha funcionado y la única defensa es mirar.
La instalación, que es donde se parará la mayoría
Los requisitos son concretos: una GPU NVIDIA con CUDA, Python 3.11, Blender 5.x en el PATH (o una variable de entorno BLENDER) y una clave de fal si quieres generar clips nuevos.
git clone https://github.com/Patch-gg/anymove && cd anymove
python3.11 -m venv .venv
.venv/bin/pip install torch==2.11.0 --index-url https://download.pytorch.org/whl/cu128
.venv/bin/pip install -r requirements.txt
cp .env.example .env # add your FAL_KEY
Fíjate en la compilación de torch fijada y en el índice explícito de CUDA 12.8. Este no es un proyecto que vaya a funcionar con el Python que tengas por ahí.
La mejor parte del onboarding es la prueba de humo solo con CPU. El repositorio incluye las detecciones de articulaciones que su lector ya encontró para el rugido del dragón, así que puedes encajar el esqueleto sin descargar 355MB de pesos ni instalar Blender:
mkdir -p runs/dragon/clips/roar
MOCAP_CREATURE=assets/dragon .venv/bin/python -m mocap.solve \
examples/dragon_roar/det.npz \
assets/dragon/rigged/rig_info.json \
runs/dragon/clips/roar/motion.json
Unos veinte segundos, y te imprime cuánto concuerdan las dos vistas, que es el diagnóstico que de verdad quieres, porque la discordancia entre vistas es el modo de fallo al que está expuesta toda la arquitectura.
El camino completo, con la malla de la criatura de ejemplo, el lector entrenado y el clip del release (13MB de malla, 355MB de lector, 4MB de clip):
tools/fetch_examples.sh dragon --readers --clips
tools/prep.sh dragon && tools/rig.sh dragon
tools/capture.sh dragon runs/dragon/videos/roar/s1/h3max.mp4 roar
Y un movimiento nuevo para la misma criatura, que cuesta unos $0.52 porque filma dos clips:
.venv/bin/python tools/make_prompt.py assets/dragon \
"the dragon whips its tail from side to side, then stands still." \
prompts/dragon/tailwhip.txt
tools/film.sh dragon tailwhip h3max 1,2
tools/capture.sh dragon runs/dragon/videos/tailwhip/s1/h3max.mp4 tailwhip
Qué es realmente difícil aquí
El retargeting. Recuperar posiciones de articulaciones es un problema; mapearlas a un esqueleto concreto, con una longitud de hueso concreta y una pose de reposo concreta, es otro. Si el esqueleto del dragón tiene un cuello más largo de lo que sugieren los puntos recuperados, o el cuello se dobla de forma rara o la cabeza flota. La formulación del README —«el esqueleto aterriza sobre los puntos»— sugiere encaje más que retargeting, que es la opción más fácil y más honesta: la animación es tan buena como el acierto de las proporciones del esqueleto con el clip.
El contacto con el suelo. Todos los pipelines de captura pelean con los pies que resbalan, y una resolución de dos vistas a partir de un vídeo generado no tiene plano de suelo, ni datos de fuerza, ni restricciones físicas. Un dragón que patina es un dragón que parece falso, por muy buenas que sean las articulaciones.
La oclusión. Dos vistas ayudan, pero solo son dos. Una extremidad escondida detrás del cuerpo en los dos paneles tiene que inferirse, y el modelo se inventará algo verosímil.
La economía, que es la historia real
Veintiséis centavos por clip. Menos de un minuto para leer y encajar. Cuatro criaturas de ejemplo en el repositorio, cada una con su esqueleto, sus prompts y su lector.
Compáralo con la alternativa: un animador, un día y un ciclo de revisiones. La comparación no es justa: la calidad no es la misma y nadie va a sacar de aquí el movimiento característico de un personaje principal. Pero para criaturas de fondo, variantes de enemigos, relleno de multitudes o los cuarenta segundos de un tráiler en los que el monstruo solo sale dos, veintiséis centavos eliminan toda una discusión sobre si vale la pena hacer el plano.
Es el patrón de este año, otra vez. No «la IA sustituye al oficio». La IA hunde el coste de la versión que ibas a tirar, y el oficio se desplaza a las decisiones que sobreviven.
¿Deberías probarlo?
Si tienes una tarjeta NVIDIA, un Blender instalado y un esqueleto de criatura que te importe, sí, y empieza por la prueba de humo en CPU, no por el pipeline completo. Tarda veinte segundos y te dice si las dos vistas concuerdan en tus datos, que es la única pregunta que importa antes de gastar nada.
Si estás en Mac, el entrenamiento del lector queda fuera y el encaje es teórico. El repositorio es Apache-2.0, así que puedes portarlo. Yo no lo haría este mes.
Artículos relacionados
La regla de exportación ya no apunta al chip, sino al cliente
La norma no prohíbe chips: prohíbe el anonimato. Y mueve la unidad de control del hardware a la relación con el cliente final.
La noticia de Nvidia no fue el informe: fue el comité
En nueve días el consejo produjo una investigación, una presidencia y un comité de cumplimiento. No es control del calendario: es reacción.
Nvidia tuvo que ponerle precio a su fundador
En nueve días, Nvidia cambió de CEO y de consejo sin perder un trimestre. El mercado, mientras tanto, le puso precio a lo que valía un solo hombre.
Una hoja de cálculo comunitaria de toques que apaga la publicidad de los Android chinos
No toca el sistema, no desbloquea nada, no flashea nada. Solo mueve los interruptores que los fabricantes ya dejaron a la vista. El precio es una lista que alguien tiene que seguir escribiendo.