Um só telemóvel roda 35 mil milhões de parâmetros, da demo ao dia a dia

Um só telemóvel roda 35 mil milhões de parâmetros, da demo ao dia a dia

A 13 de outubro, a ModelBest (面壁智能) apresentou uma nova geração de grande modelo multimodal no dispositivo, o MiniCPM-V4.7, com duas versões de uma vez: 35B-A3B e 1B. À primeira vista parece uma iteração de rotina, mas o modelo 35B-A3B merece um segundo olhar: 35 mil milhões de parâmetros no total, arquitetura MoE (Mixture of Experts), com apenas cerca de 3 mil milhões de parâmetros ativados em cada inferência. A empresa chama-lhe «o primeiro modelo MoE de código aberto a correr sem perdas e de forma fluida no edge», e em execução ocupa apenas cerca de 3GB de memória.

Medido num iPad Pro, a velocidade de descodificação ultrapassa os 15 token/s. Faz-se uma pergunta, ele responde, sem ficar a olhar para uma barra de progresso a arrastar-se.

O dilema do MoE no edge

O MoE é popular porque faz bem as contas: dividir o modelo em muitos «especialistas» e acordar apenas alguns de cada vez. O total de parâmetros pode ser enorme enquanto o cálculo real fica próximo do de um modelo pequeno. Este caminho é confortável na cloud, onde os centros de dados têm VRAM de sobra.

Levado para o edge, torna-se incómodo. O gargalo não é a capacidade de cálculo, é a memória. Todos os especialistas têm de ser carregados de antemão, porque ninguém sabe qual será usado pelo próximo token. 35 mil milhões de parâmetros ali parados em precisão normal são dezenas de GB, e a memória do telemóvel esgota-se logo. No edge, «potente» e «que corre» tornam-se uma escolha única.

Acordar o próximo especialista com antecedência

A solução da ModelBest chama-se LES, Lookahead Expert Scheduling. A ideia não tem mistério: se dá para prever que especialistas serão usados, então prevê-se com antecedência. Enquanto o cálculo matricial atual ainda decorre, o sistema determina que especialistas serão chamados a seguir e carrega-os mais cedo na memória, para que carregamento e cálculo se sobreponham.

Por outras palavras, transforma «correr ao armazém buscar a mercadoria à última hora» em «enquanto trabalhas, alguém te entrega o próximo artigo com antecedência». A empresa afirma que é atualmente a única solução de código aberto do género no setor.

Duas versões, cada uma o seu terreno

O 35B-A3B encarrega-se de levar capacidade de nível flagship para o edge. Aponta para cenários como estes: querer uma compreensão próxima da da cloud sem aceitar enviar os dados para fora. Perguntas e respostas sobre documentos offline, reconhecimento imediato a partir de uma foto e assistentes de voz sem rede entram todos no seu alcance. A versão 1B leva a eficiência ao extremo, com o objetivo de a fazer correr em mais dispositivos, e não apenas em alguns flagships.

No dia do lançamento, o MiniCPM-V4.7 concluiu a adaptação a plataformas de chips como Rockchip, NVIDIA, Intel e Apple, suporta iOS, Android e HarmonyOS, e publicou o código de adaptação para o edge juntamente com os principais frameworks de inferência. O subtexto é claro: não é uma demo de laboratório, mas algo que os programadores podem pegar e pôr em produção.

A escolha de rumo por trás de 60 milhões de downloads

A série MiniCPM, mantida em conjunto pela ModelBest e pela comunidade OpenBMB, ultrapassou os 60 milhões de downloads acumulados, cobrindo texto, visão e voz. O número não é pequeno no mundo do código aberto: mostra que a linha dos pequenos modelos no edge responde a uma procura real e estável, e não a um discurso de fachada dos fabricantes.

Na mesma semana, os campos nacionais do edge e do código aberto fizeram outros movimentos. A Xiaomi abriu a série MiMo-V2.6; a versão flagship Pro tem 1,02 biliões de parâmetros no total, cerca de 42 mil milhões ativados, um contexto de 1 milhão de tokens, segue uma via de aprendizagem por reforço de «autoaperfeiçoamento recursivo» e, algo raro, divulgou os custos de treino RL. O Instituto de Automação da Academia Chinesa de Ciências, em conjunto com o Instituto de Inteligência Artificial de Wuhan, abriu o Zidong Taichu ZDTaichu5.0-9B, publicando não só os pesos, mas toda uma linha de produção de dados multimodais espaciais, desde a ingestão e limpeza de dados até à anotação 3D e à verificação por síntese.

Estes projetos têm um ponto em comum: já não entregam apenas um modelo, mas um método para «transformar os seus próprios dados em capacidade do modelo». Para as equipas que querem resultados no seu setor, este último costuma valer mais.

O que o edge resolve afinal

Os modelos na cloud são mais inteligentes, e isso não vai mudar a curto prazo. O valor do edge não está na capacidade absoluta, mas em coisas muito concretas: latência estável, utilização sem rede, dados que não saem do dispositivo. Para quem faz ferramentas internas de empresa, inspeção médica ou industrial, hardware educativo, as duas últimas costumam importar mais do que alguns pontos de benchmark a mais.

Convém também ver bem a distância. O 35B-A3B ativa 3 mil milhões de parâmetros por passagem, por isso a sua capacidade cai mais ou menos na faixa dos modelos pequenos e médios, e ainda não é o mesmo que os melhores modelos fechados. Correr sem perdas no edge resolve o «corre», não o «corre melhor». Se o encararmos como um assistente offline, privado e sempre pronto, as expectativas serão mais certeiras.

Para terminar

No último ano, o campo de batalha principal da corrida aos grandes modelos foram os parâmetros e as classificações. Mas quando a guerra de parâmetros chega a certo ponto, «cabe no dispositivo que o utilizador tem na mão» começa a tornar-se uma nova linha divisória. O interessante do MiniCPM-V4.7 não é ter voltado a bater uma pontuação, mas ter levado «correr MoE no edge» de slogan a solução de engenharia reproduzível.

A imaginação do edge não está em copiar a cloud, mas nos cantos que a cloud não alcança: salas de servidores subterrâneas, montanhas sem sinal e postos de trabalho comuns que não querem carregar os seus materiais para outro sítio. Estes cenários não vão ser tendência, mas são o verdadeiro mercado dos modelos no edge.