Uma foto, um mundo caminhável: InSpatio-World 1.5 transforma imagens em espaços

A maioria dos modelos de imagem e vídeo entrega um quadro fixo ou um clipe fixo. Você olha para o que o modelo decidiu mostrar. Uma empresa chinesa chamada InSpatio lançou neste mês um modelo que pega uma única foto, ou um panorama, ou um vídeo existente e o transforma em um espaço pelo qual você pode se mover.

O InSpatio-World 1.5 foi lançado no Carnaval Internacional de Artes Audiovisuais de Xangai no final de setembro, e a empresa disponibilizou o código como open source sob a licença Apache 2.0. O vídeo de demonstração é a explicação mais clara do que é diferente. Ele começa dentro da passarela coberta de um palácio chinês. A câmera avança, passa por uma grade e uma escadaria e entra em um pátio. Pavilhões que estavam escondidos atrás das colunas surgem conforme o ponto de vista muda. O que o modelo produziu é um espaço que continua sendo renderizado conforme você continua explorando, em vez de um clipe com um caminho de câmera escolhido.

Três coisas mudaram nesta versão

A primeira é o que o modelo aceita como entrada. Modelos de mundo anteriores em geral queriam uma única imagem. A versão 1.5 aceita uma única imagem, um conjunto de imagens, um panorama ou um vídeo. Isso importa porque define o ponto de entrada. Uma única foto é um ponto de partida de nível consumidor. Conjuntos com várias imagens e vídeos existentes são o que uma equipe de cinema ou publicidade já tem em mãos, e aceitá-los amplia quem pode usar a ferramenta.

A segunda é a exploração em tempo real. Uma vez dentro do espaço gerado, você pode continuar movendo o ponto de vista, contornar oclusões e alcançar áreas que não estavam no quadro inicial. A cada mudança do ponto de vista, o modelo precisa preencher as partes da cena que antes estavam invisíveis, e fazê-lo de forma consistente com o que você já viu. Esse é um problema mais difícil do que gerar um clipe agradável, porque pede-se ao modelo que mantenha um modelo mental de um lugar, e não uma sequência de imagens.

A terceira é a consistência espaço-temporal, que é a verdadeira linha divisória entre um modelo de mundo e um gerador de vídeo. Se a câmera sai de uma sala e volta, a sala não deve ter se reorganizado. A InSpatio diz que reforçou isso na versão 1.5 para suportar caminhos de exploração mais longos e cenas mais complexas, e a demonstração se apoia nessa afirmação ao revisitar repetidamente áreas a partir de novos ângulos.

Os números por trás da demonstração

A InSpatio descreve o modelo como compacto, com 1,3 bilhão de parâmetros, e relata uma pontuação de 68,72 no WorldScore-Dynamic, que, segundo ela, ocupa o primeiro lugar entre os métodos interativos em tempo real avaliados, a até 24 quadros por segundo. Esses são números da própria empresa, e a reprodução independente ainda é escassa, então trate-os como um ponto de partida, e não como um resultado consolidado.

A abordagem técnica tem algumas partes móveis que vale a pena nomear. Para entradas de vídeo, o pipeline usa o Depth Anything 3 para estimar profundidade ausente e parâmetros intrínsecos e extrínsecos da câmera por quadro, o que permite reconstruir uma cena a partir de filmagens que não foram capturadas em 3D. Um processo autorregressivo espaço-temporal é o que mantém um estado persistente do mundo conforme a visão muda, em vez de regenerar a cena do zero a cada vez.

Onde uma cena caminhável compensa

O uso mais imediato é aquele para o qual a demonstração aponta. No cinema e na publicidade, a posição da câmera geralmente fica travada no momento da filmagem. Se você quer outro ângulo, refilma, e refilmagens são caras. Um modelo de mundo permite que uma equipe continue procurando posições de câmera depois do fato, extraindo cobertura de filmagens que já existem. A InSpatio cita o bullet-time publicitário como exemplo direto: em vez de sincronizar um conjunto de câmeras ao redor de um sujeito, você fornece um conjunto de imagens e projeta um novo caminho de câmera ao redor do mesmo sujeito.

O segundo uso é dados de treinamento para robôs. Um problema na IA incorporada é que a maior parte do vídeo disponível na internet é filmado em terceira pessoa, enquanto um robô vê o mundo em primeira pessoa. A InSpatio diz que o modelo pode pegar filmagens em terceira pessoa de uma operação e prever uma visão em primeira pessoa mais próxima do que um robô perceberia, e pode reobservar o mesmo processo de diferentes direções com as relações de oclusão alteradas. Se isso funcionar em escala, é uma forma de transformar vídeo disponível em material de treinamento para robôs sem filmar novas imagens para cada ambiente.

Além desses, a empresa aponta para turismo e experiências culturais, gêmeos digitais e simulação industrial, os lugares onde um espaço que se comporta como espaço é mais útil do que uma imagem que se parece com um.

Uma corrida acirrada, com diferentes definições de vitória

A InSpatio não está sozinha nessa busca, e as abordagens concorrentes discordam sobre para que serve um modelo de mundo. Alguns laboratórios otimizam para resultados cinematográficos, gerando um minuto de filmagem belamente consistente com um único movimento narrativo de câmera. Outros buscam interatividade, priorizando a capacidade de se mover livremente e fazer a cena responder sem um caminho fixo. Um terceiro grupo, mais próximo dos games, quer motores em tempo real que mantenham um mundo em memória como um lugar navegável.

Esses objetivos puxam em direções diferentes. Um modelo de mundo ajustado para qualidade cinematográfica pode gastar poder de computação em uma sequência predeterminada e fazer cada quadro parecer certo. Um modelo ajustado para interação precisa renderizar o que quer que o usuário olhe em seguida, o que empurra na direção da velocidade e de uma memória da cena que sobreviva a movimentos arbitrários. O InSpatio-World 1.5 está claramente no grupo interativo, e sua escolha de um modelo pequeno de 1,3 bilhão de parâmetros é uma aposta de que permanecer em tempo real importa mais do que vencer um concurso de beleza de quadros estáticos.

A comparação que importa para compradores é com os outros sistemas navegáveis, e aqui o campo é tão inicial que a maioria das alegações é autorrelatada. Um benchmark como o WorldScore-Dynamic tenta quantificar a parte escorregadia, se o mundo permanece consistente conforme você se move por ele, mas um benchmark só mede o que seus criadores escolheram medir. Consistência ao longo de uma exploração longa, fidelidade à foto original e taxa de quadros puxam em direções opostas, e cada sistema escolherá diferentes compensações.

Esse é o verdadeiro motivo para acompanhar o lançamento aberto. Quando dezenas de pesquisadores testarem o modelo ao limite com suas próprias entradas, o panorama de onde ele se sustenta e onde falha será muito mais útil do que a demonstração de lançamento, e permitirá que o restante do campo compare abordagens em terreno compartilhado, em vez de em reels de destaque concorrentes.

Por que abrir o código é estratégia, e não uma doação

A InSpatio lançou o código junto com o modelo e está dando prévias de um novo Topos-Pro 1.0 para testes por convite. O raciocínio é o que aparece em toda a inteligência espacial: as aplicações úteis estão espalhadas por cinema, turismo, robótica e gêmeos digitais, e nenhuma empresa sozinha consegue cobrir todas elas. Publicar a capacidade base permite que pesquisadores verifiquem os limites e que parceiros construam a camada vertical por cima. É uma forma de ser o térreo, e não o prédio inteiro.

O risco é o de sempre em lançamentos abertos iniciais. A demonstração é impressionante e o benchmark é autorrelatado, e a diferença entre uma demonstração controlada e uma ferramenta que se sustenta em uma entrada bagunçada do mundo real costuma ser grande. Os próximos meses, conforme pesquisadores e criadores independentes tiverem acesso ao código, mostrarão quais partes da promessa sobrevivem ao contato com os dados de outras pessoas.