Sem rigging: o JST-2 da Viggle gera uma cena 3D em cerca de um segundo

A Viggle publicou em 19 de outubro um modelo que gera uma cena 3D em cerca de um segundo, com custo de inferência abaixo de um centavo. Os dois números vêm da própria página de lançamento da empresa, medidos numa NVIDIA B200 e sem contar a latência de rede, então vale tratá-los como qualquer benchmark de fornecedor. Mas a arquitetura por trás deles merece mais atenção do que os números.

O modelo se chama JST-2. JST é a sigla de Joint Space-and-Time, espaço e tempo conjuntos. A Viggle o descreve como um modelo de fundação de mundo nativo em física, e a expressão faz trabalho de verdade em vez de enfeitar um release.

O que «nativo em física» realmente muda

Quase todo modelo de vídeo aprende o mundo pelos pixels. Vê quadros suficientes e fica muito bom em prever como será o próximo, e é por isso que consegue produzir um plano lindíssimo de uma cadeira e depois perder a cadeira inteira quando a câmera vira.

O JST-2 não monta quadros. A unidade básica dele está mais para um átomo: um pedaço pequeno de matéria com posição 3D real, material, cor, massa e o registro de como se move e se deforma sob força. Essas unidades são tokenizadas no que a Viggle chama de Physics-Native Tokens e depois decodificadas em splats gaussianos 3D que renderizam no navegador.

A consequência prática é persistência. Uma cadeira continua fazendo parte da sala quando você desvia o olhar, porque não é uma previsão, é um objeto. Dá para orbitar o resultado, caminhar até um canto que o modelo nunca renderizou, e a cena se sustenta. O modelo só precisa rodar de novo quando você adiciona conteúdo.

O alvo de comparação da Viggle é o Marble, da World Labs, que a página de lançamento cronometra em cerca de seis minutos por cena, contra um segundo do JST-2. Essa diferença não é ajuste de parâmetros: é geração feed-forward contra otimização cena a cena. O modelo da Viggle produz a representação 3D direto numa passada, em vez de encaixar uma cena depois do fato.

{{INLINE1}}

A janela de contexto é um lugar, não um documento

O JST-2 aceita até 64 vistas de entrada como janela de contexto espacial. É uma expressão estranha para um modelo 3D, mas descreve bem a interação: você expande um mundo uma vista por vez, e cada vista nova passa a fazer parte do contexto do que vem depois.

A demo funciona assim. No filme de lançamento da Viggle, um robô pega uma caixa numa sala de estar. Instruções digitadas acrescentam uma mulher, depois um pai e uma criança, e então mandam o robô atravessar a sala para entregar a caixa à criança. A câmera alterna entre a sala e a visão do próprio robô. Nada nessa sequência exigiu rodar a cena de novo do zero.

Sessenta e quatro vistas é um orçamento modesto para um ambiente grande, e é o número a acompanhar. Janelas de contexto espacial se comportam como as de texto: a primeira versão impressiona, a segunda muda o que as pessoas constroem.

O rigging é onde isso fica comercialmente interessante

O recurso de personagem é a parte com o caminho mais curto até o dinheiro. O JST-2 transforma uma única imagem, ou uma descrição em texto, num personagem 3D pronto para animar. Sem etapa separada de rigging. Sem passe de skinning em que um artista posiciona um esqueleto digital e pinta pesos.

O mecanismo está na representação em tokens. A Viggle diz que os vetores de dinâmica dentro dos Physics-Native Tokens codificam como cada parte de um personagem se deforma sob movimentos diferentes. Essas dinâmicas são aprendidas dos dados, então o modelo não entrega uma malha torcendo para você riggar depois: entrega uma malha mais um modelo de deformação.

A Viggle fez avaliações humanas às cegas contra Meshy 7.1 e Tripo H3.1. O JST-2 venceu nos dois em geração de personagens, com a maior margem em detalhe facial, que é justamente o que mais costuma se perder entre uma referência 2D e um resultado 3D. Também venceu em prontidão para animação, especialmente na articulação das mãos e em como corpo e roupa se deformam durante o movimento.

A Viggle é franca sobre os pontos fracos: deformação de roupa complexa e movimento de cabelo estão listados como trabalho para versões futuras. Quem já viu uma capa gerada atravessar uma perna gerada reconhece ali a resposta honesta, não uma omissão de marketing.

Captura de movimento sem a roupa especial

O JST-2 também faz movimento de corpo inteiro a partir de texto ou de um vídeo de uma performance real, o que é captura de movimento sem marcadores com outro nome. Os exemplos na página de lançamento são ações comuns: esquiva e agachamento, rolamento para frente, chute frontal, groove de hip-hop, pirueta, dança de robô, boxe, caminhada de varredura, passagem por uma porta, escovação de dentes, digitação rápida, apontar para frente.

Nenhuma é difícil para um humano. Todas são difíceis para um rig, porque envolvem transferência de peso, contato e recuperação. Levá-las de um vídeo de celular para um esqueleto reutilizável é o passo pelo qual a maioria dos estúdios pequenos hoje paga um animador.

Onde a física ainda é falsa

Aqui está a linha que vale guardar. Os próprios materiais da Viggle dizem que o JST-2 ainda usa regras de física programadas para colisões e interações entre objetos. O próximo modelo, o JST-3, está sendo desenvolvido para aprender essas interações dos dados em vez de ter alguém escrevendo as regras.

Então «nativo em física» descreve a representação, não uma simulação resolvida. O modelo sabe onde as coisas estão e como se movem; ainda não sabe o que acontece quando duas delas disputam o mesmo espaço. Essa é a diferença entre um mundo que você pode explorar e um mundo em que você pode testar um robô, e a Viggle diz explicitamente que treinar robôs é para onde vai, não onde está.

A Viggle disse que a meta do JST-3 é um simulador de mundo completo, que poderia ficar embaixo de uma engine de jogo ou servir de campo de treino para inteligência física. É uma afirmação grande, sem data de entrega. O que existe hoje é um gerador de cenas rápido, com saída de personagem excepcionalmente boa.

O que dá para fazer de fato esta semana

O JST-2 é grátis para testar dentro do PINOC, o app de navegador da Viggle para personagens e movimento 3D. O plano Free inclui 60 créditos, uma única vez, que segundo a empresa cobrem cerca de um minuto de movimento ou até doze personagens de imagem para 3D, além de uma exportação de movimento e uma de personagem. Os créditos não são repostos no plano gratuito e não há compra extra nele.

Os planos pagos começam em torno de 10.39 $ por mês com cobrança anual por 300 créditos, e a licença importa: a saída do plano gratuito é restrita a projetos pessoais, avaliação e prototipagem. Trabalho para cliente ou qualquer coisa monetizada precisa do Starter ou do Pro. As exportações saem em FBX ou GLB, então Blender, Unity ou Unreal abrem os arquivos.

Se quiser testar a afirmação gastando pouco, a sequência mais barata é: uma imagem, um movimento curto, uma exportação. Movimento custa um crédito por segundo, então um clipe de cinco segundos são cinco créditos. Doze ideias cabem num minuto gratuito se você mantiver tudo curto, e é no curto que você vê se a afirmação sobre articulação das mãos se sustenta ou desmonta.

A mudança real

O que muda de verdade aqui não é a velocidade. É que o asset e a animação agora chegam juntos. Por vinte anos o pipeline foi modelo, depois rig, depois animação, e cada seta era uma pessoa diferente com um formato de arquivo diferente.

Juntar as duas primeiras setas não elimina o animador. Elimina a parte do trabalho que era basicamente burocracia, e faz o custo de uma ideia ruim chegar perto de zero. Normalmente é nesse momento que um formato muda, não quando a saída fica mais bonita.