← Voltar ao blog
Aicerca de 7 min de leitura

Um modelo de 1.6B parou de traduzir imagens em tokens, e venceu as arquiteturas que fazem isso

Publicado 7 de nov. de 2026
Um modelo de 1.6B parou de traduzir imagens em tokens, e venceu as arquiteturas que fazem isso

Um time da Huazhong University of Science and Technology (HUST), em parceria com a Horizon Robotics, publicou neste mês um artigo sobre uma arquitetura multimodal que não pega nenhum dos dois caminhos que todo mundo vem trilhando. O modelo se chama MF-1. Tem 1.6 bilhão de parâmetros, foi treinado do zero com 150 bilhões de tokens e supera as duas abordagens estabelecidas em uma comparação controlada com dados e orçamento de compute idênticos.

O resultado importa menos pelos números de benchmark do que pelo que ele diz sobre quanto do treinamento multimodal atual está sendo desperdiçado em arquitetura.

Os dois caminhos, e quanto custa cada um

Faz alguns anos que existem duas formas de colocar linguagem e imagens no mesmo modelo.

O caminho totalmente discreto, adotado por Chameleon e Emu3, quantiza as imagens em tokens discretos para que tudo vire uma longa sequência de inteiros e um único objetivo autorregressivo. É elegante e tem um teto duro: o tokenizer visual joga fora detalhe de alta frequência durante a quantização. Textura fina, texto pequeno e gradientes sutis são achatados antes de o modelo sequer vê-los. Dá para melhorar o tokenizer, e as pessoas melhoraram, mas o teto é estrutural.

O caminho híbrido, adotado por Transfusion e JanusFlow, mantém o texto discreto e as imagens contínuas. O texto passa por next-token prediction. As imagens passam por um processo de difusão. Isso evita o gargalo da quantização por completo e cria um problema diferente: o modelo agora mantém duas funções objetivo e dois pipelines de amostragem, e fazer com que eles otimizem em conjunto é um projeto de engenharia, não uma pergunta de pesquisa. Toda ablation fica duas vezes mais cara.

Os dois caminhos envolvem traduzir uma modalidade para o formato da outra. É esse compromisso que o Multimodal Flow recusa.

Um objetivo, dois formatos nativos

O desenho mantém a linguagem no seu espaço de embedding contínuo e as imagens no delas, e compartilha um único objetivo de Flow Matching entre os dois.

Dois fluxos de pó fino, um azul pálido e outro areia quente, caindo lado a lado e começando a se entrelaçar.

Na prática: o texto é dividido em blocos de oito tokens, cada bloco codificado por um T5-small congelado em um text hyperchunk contínuo. As imagens passam por um encoder SigLIP2 congelado e saem como uma grade espacial de 16 por 16, formando um visual hyperchunk. Os hyperchunks são encadeados em uma única sequência na ordem que a tarefa exigir e alimentam um Chunk-Causal Flow backbone compartilhado.

A máscara de atenção é a parte esperta. Ao prever o k-ésimo hyperchunk, todos os hyperchunks anteriores ficam totalmente visíveis, as posições dentro do bloco atual são modeladas em conjunto e os blocos seguintes ficam mascarados. A causalidade vale na granularidade do bloco, e a informação flui livremente dentro de um bloco. É isso que permite que um hyperchunk visual de 256 células seja gerado como uma imagem coerente em vez de 256 decisões independentes.

A segunda escolha de projeto é um híbrido dentro do transformer. As camadas de atenção são compartilhadas, então linguagem e visão podem prestar atenção uma na outra. As camadas FFN continuam específicas por modalidade, porque as estatísticas de representação das duas são diferentes o bastante para que forçá-las por um único bloco feedforward atrapalhe. As ablations do artigo supostamente confirmam isso, e esse é o tipo de detalhe que economiza três meses de todo mundo.

Os blocos de texto têm oito tokens, o que é um compromisso deliberado. Blocos menores dão controle mais fino e mais posições de sequência. Blocos maiores barateiam a máscara causal. Oito é onde o trade-off aterrissou.

Os números

Texto para imagem: GenEval geral 0.821, alinhamento de prompt longo no DPG-Bench 83.44. Na subtarefa de contagem do GenEval, o MF-1 chega a 0.73, bem à frente dos modelos unificados de mesma escala. Contagem sempre foi um constrangimento para arquiteturas unificadas porque exige vincular um número a várias instâncias, e modelar um bloco visual em conjunto aparentemente ajuda.

Compreensão: VQAv2 72.6, MMBench 67.2, POPE 86.1, média 75.3. Essa média supera alguns modelos do mesmo tamanho inicializados a partir de um modelo de linguagem pré-treinado, e é essa a parte surpreendente. Partir de um LLM pré-treinado normalmente é desempenho de graça.

A comparação controlada é a parte que faz o artigo valer a leitura. Mesmos dados, mesmo orçamento de parâmetros, mesmo otimizador, e o Multimodal Flow supera tanto o híbrido no estilo Transfusion quanto a arquitetura discreta no estilo Chameleon em GenEval, GQA, VQAv2 e MMBench. Não por um ponto em um benchmark. No conjunto todo.

Por que a contagem é o teste que importa

De todas as subtarefas do GenEval, a contagem é a que separa arquiteturas de forma mais limpa.

Pedir três maçãs vermelhas a um modelo exige duas coisas ao mesmo tempo. Ele precisa representar o número três, e precisa vincular esse número a três instâncias distintas de um objeto, cada uma delas vermelha e em forma de maçã. Modelos de token discreto tendem a produzir duas ou quatro. Modelos de difusão tendem a produzir um aglomerado plausível e torcer para que ninguém conte. Sistemas híbridos chegam mais perto porque o lado da imagem é contínuo, mas o lado do texto ainda precisa entregar uma cardinalidade que sobreviva à passagem.

O MF-1 marcar 0.73 nessa subtarefa importa mais do que o 0.821 geral, porque o número geral é em parte sustentado por prompts fáceis sobre cores e objetos simples.

Por que 150 bilhões de tokens é a afirmação de verdade

Modelos multimodais de fronteira são treinados com contagens de token na casa dos trilhões. O MF-1 usou 150 bilhões, com 1.6 bilhão de parâmetros, e chegou a GenEval 0.821.

Se isso escalar, muda uma premissa. O consenso atual é que modelos multimodais unificados são caros porque precisam de dados enormes para aprender bem as duas modalidades. Este artigo sugere que boa parte desse custo era a arquitetura pagando pelo compromisso: quantizar imagens custa qualidade, então você a recompra com mais dados; manter dois objetivos custa eficiência de otimização, então você a recompra com mais compute.

Tire o compromisso e o mesmo orçamento vai mais longe. Se isso se sustenta com 10 bilhões ou 100 bilhões de parâmetros, não há resposta, e o artigo não afirma que sim. O time é explícito que esta é uma escala com uma mistura de dados.

Há uma implicação de segunda ordem que conecta com outros trabalhos deste ano. Uma linha de pesquisa separada vem tentando remover o VAE da geração de imagens por completo, com o argumento de que comprimir uma imagem em um latent e tirá-la de volta perde informação que ninguém pediu para perder. O Multimodal Flow mantém o encoder e para de tratar sua saída como algo que precisa ser reexpresso em tokens parecidos com linguagem. O hyperchunk visual continua visual até o fim. É o mesmo instinto.

O que isso não resolve

Três limites que vale enunciar.

Os encoders são congelados. T5-small e SigLIP2 não foram treinados em conjunto com o flow backbone, o que significa que o teto de qualidade da representação é definido em outro lugar. Um encoder treinado em conjunto provavelmente sairia melhor, e custaria muito mais.

A resolução de imagem é 16 por 16 em termos de grade latente, o que serve para o GenEval e é insuficiente para qualquer coisa envolvendo renderização de texto ou detalhe fino. Qualidade de geração em alta resolução não é o tema deste artigo.

E isto é um artefato de pesquisa. O código está no GitHub em hustvl/Multimodal-Flow, os pesos são um ponto de partida e não um produto, e não há API hospedada. Ninguém vai trocar o próprio pipeline de imagens por isso na semana que vem.

O que ele faz é estreitar o espaço de futuros plausíveis. Se um modelo totalmente contínuo de 1.6B consegue vencer as duas arquiteturas unificadas estabelecidas com o mesmo orçamento, então a próxima rodada de modelos de fundação multimodais tem uma terceira opção de projeto que não existia na conversa seis meses atrás. Para um campo que gastou muito compute discutindo tokenizers, isso é uma coisa útil de se ter na mesa.

Artigos relacionados