O MOSS-Image de 5B acerta o texto chinês do cartaz, mas não sabe editar imagem

Em meados de outubro, um modelo aberto chamado MOSS-Image começou a circular em alguns grupos técnicos chineses. O motivo era simples: ele acerta o texto em chinês nos cartazes.

Soa como elogiar um adulto por saber usar hashi. Mas quem já fez cartaz, infográfico ou página de produto de e-commerce sabe o quanto isso é difícil. Nos últimos dois anos, a gente se acostumou com este fluxo: pede a imagem ao modelo, abre o editor, cobre letra por letra o texto que saiu torto e digita de novo. O modelo desenha, a pessoa escreve. A divisão de trabalho era clara.

O MOSS-Image quer mexer justamente nessa divisão. Vem do time OpenMOSS (NLP da Universidade Fudan e Shanghai Chuangzhi, entre outros), tem 5B de parâmetros, arquitetura DiT de fluxo único, pré-treinado do zero, e os pesos saem sob Apache-2.0.

O que exatamente ele acertou

Nas avaliações oficiais, o que mais importa é a renderização de texto longo. O conjunto de teste tem 120 tarefas em chinês e 120 em inglês, com extensão média do texto-alvo de cerca de 1.339,8 caracteres, e a métrica Mean-6 chega a 96,3. É um recorde entre modelos de pesos abertos. "Texto longo" aqui não é um título de quatro palavras: é um parágrafo inteiro, e ainda tem que preservar quebras de linha e estrutura de parágrafo.

O segundo ponto é o layout. Ele aceita entrada estruturada em JSON Layout: você decompõe a imagem em summary e items, cada elemento recebe tipo, descrição, conteúdo de texto e uma caixa bbox de coordenadas, e o modelo posiciona conforme essa caixa. Nessa tarefa, o mIoU das caixas detectadas é 0,8786 e o mIoU do layout geral é 0,6788. Em português claro: os elementos costumam cair perto do lugar que você pediu, mas a composição geral ainda não tem a precisão de um software de design.

O terceiro ponto é o tamanho do prompt. Ele aceita prompts de até cerca de 4K tokens. Esse número significa muito para quem escreve cartaz, porque a descrição de um infográfico já é longa por natureza: que sensação de fonte tem o título, qual é a hierarquia do subtítulo, qual é o número da cor na paleta, que ícone vai no canto inferior esquerdo. Antes era preciso comprimir tudo em uma frase. Agora dá para escrever.

Instalar não é difícil. Difícil é que ele não edita imagem

Rodar é banal. Clonar o repositório, criar o ambiente virtual, instalar as dependências e então usar o Gradio ou escrever Python direto:

Depois de clonar, criar o ambiente e instalar as dependências, é rodar pip install -e '.[ui]' e em seguida python gradio_app.py --model OpenMOSS-Team/MOSS-Image-Base para ter a interface. Do lado Python, o carregamento é pelo custom_pipeline do Diffusers; a amostragem padrão é Flow-matching Euler, 50 passos, CFG 3, shift 5, com skip de camada no ramo negativo na camada 22. Se a VRAM não der, dá para mudar para o modo Sequential, ao custo da velocidade.

O problema real está aqui: é um modelo puramente texto-para-imagem. Não aceita imagem de referência e não tem edição nativa. Querer "trocar o título deste cartaz" não funciona; só gerando outro. O módulo de enriquecimento de prompt também depende de um LLM externo para expandir, o modelo não faz isso sozinho.

Não é um defeito pequeno. Quem produz material passa oitenta por cento do tempo editando, não gerando: o cliente quer o logo dois milímetros maior, o jurídico quer aquela frase de campanha fora, o marketing diz que a cor daquele SKU está errada. Um modelo que só gera do zero prende essas pessoas no ciclo de "tirar outra carta". E a segunda carta vem com outra composição.

Por isso, no fluxo real, ele funciona mais como um "gerador de ponto de partida": você usa para acertar layout e texto de uma vez, exporta e faz o ajuste fino no software de design. Já é bem mais prático do que antes, mas não é o ponto final.

Em que condições saiu o 96,3

Vale deixar claro, para não ser levado pelo número. O 96,3 foi medido num conjunto específico, com uma métrica específica, sobre textos-alvo de 1.339 caracteres em média. O que ele prova é que, nessa faixa de comprimento e nesse tipo de tarefa de layout, a precisão de texto está à frente dos pares de pesos abertos. Não prova que qualquer texto em chinês, de qualquer tamanho, vai sair certo.

Além disso, o próprio time escreveu os limites no model card: o backbone é puramente texto-para-imagem, não recebe imagem de referência nem faz edição nativa, e o enriquecimento de prompt depende de um LLM externo. Essa disposição de declarar os limites não é comum em modelos abertos e merece registro.

A comunidade já está tapando os buracos

Menos de duas semanas após o lançamento, a comunidade se mexeu rápido. O DiffSynth-Studio passou a suportar fine-tuning completo e treino de LoRA nas versões Base e SFT. Alguém fez um DeBand LoRA para suprimir aquelas faixas verticais de cor da versão SFT, deixando claro o trade-off: "suprimir as listras muda o detalhe". E há uma versão destilada DMD de 8 passos, com adaptador LoRA para o ComfyUI.

As três coisas juntas mostram que ele foi tratado como "modelo base", não como "produto pronto". Ver gente disposta a treinar LoRA e destilar em cima dele diz mais sobre o valor real do que o número de estrelas no dia do lançamento.

Sobre escolher Base ou SFT: nos exemplos comparativos oficiais, a versão SFT agrupa melhor o texto e organiza mais direito o layout de quadro branco. Para cartaz e infográfico, vá direto de SFT; para fazer seu próprio ajuste, comece pelo Base.

Quem deveria usar isso agora

Se o seu trabalho é produzir em lote cartazes em chinês, infográficos de curso, imagens longas para redes, menus e placas, e você tem GPU local, vale gastar uma tarde testando. Esse tipo de demanda tem layout fixo, muito texto e exigência de reprodutibilidade: é exatamente o ponto forte dele.

Se o seu trabalho é retocar foto, trocar fundo, dar outro estilo a uma imagem que já existe, nem perca tempo. Ele não faz, ou faz dando mais trabalho do que as ferramentas que você já tem.

Documentação e pesos estão no HuggingFace e no ModelScope, licença Apache-2.0, sem grandes preocupações para uso comercial. O que precisa ser pensado antes é a VRAM e o fluxo: o modo Sequential salva a placa pequena, mas transforma "testar rápido" em "pôr a chaleira no fogo e esperar".