Un solo telefono fa girare 35 miliardi di parametri, dalla demo alla quotidianità

Un solo telefono fa girare 35 miliardi di parametri, dalla demo alla quotidianità

Il 13 ottobre ModelBest (面壁智能) ha presentato una nuova generazione di grande modello multimodale on-device, MiniCPM-V4.7, con due versioni in una volta: 35B-A3B e 1B. A prima vista sembra un'iterazione di routine, ma il modello 35B-A3B merita un secondo sguardo: 35 miliardi di parametri totali, architettura MoE (Mixture of Experts), con solo circa 3 miliardi di parametri attivati a ogni inferenza. L'azienda lo definisce «il primo modello MoE open source che gira senza perdite e in modo fluido all'edge», e in esecuzione occupa solo circa 3GB di memoria.

Misurato su un iPad Pro, la velocità di decodifica supera i 15 token/s. Si fa una domanda, risponde, senza dover fissare una barra di avanzamento che striscia lentamente.

Il dilemma del MoE all'edge

Il MoE è popolare perché fa bene i conti: dividere il modello in molti «esperti» e svegliarne solo alcuni alla volta. Il totale dei parametri può essere enorme mentre il calcolo reale resta vicino a quello di un modello piccolo. Questa strada è comoda nel cloud, dove i data center hanno VRAM in abbondanza.

Spostata all'edge diventa scomoda. Il collo di bottiglia non è la potenza di calcolo, ma la memoria. Tutti gli esperti devono essere caricati in anticipo, perché nessuno sa quale servirà al prossimo token. 35 miliardi di parametri fermi lì a precisione normale sono decine di GB, e la memoria del telefono va subito in crisi. All'edge, «performante» e «che gira» diventano una scelta obbligata.

Svegliare il prossimo esperto in anticipo

La soluzione di ModelBest si chiama LES, Lookahead Expert Scheduling. L'idea non ha nulla di misterioso: se si può prevedere quali esperti verranno usati, tanto vale prevederlo in anticipo. Mentre il calcolo matriciale in corso procede, il sistema stabilisce quali esperti verranno chiamati dopo e li carica prima in memoria, così caricamento e calcolo si sovrappongono.

In altre parole, si trasforma «correre al magazzino a prendere la merce all'ultimo momento» in «mentre lavori, qualcuno ti porge in anticipo il pezzo successivo». L'azienda afferma che oggi è l'unica soluzione open source del genere nel settore.

Due versioni, ognuna il suo ambito

35B-A3B si occupa di portare capacità di livello flagship all'edge. Mira a scenari come questi: volere una comprensione vicina a quella del cloud senza accettare di inviare i dati all'esterno. Domande e risposte su documenti offline, riconoscimento immediato da una foto, assistenti vocali senza rete rientrano tutti nella sua portata. La versione 1B spinge l'efficienza all'estremo, con l'obiettivo di far girare il modello su più dispositivi, non solo su pochi flagship.

Il giorno del lancio, MiniCPM-V4.7 ha completato l'adattamento a piattaforme di chip come Rockchip, NVIDIA, Intel e Apple, supporta iOS, Android e HarmonyOS, e ha pubblicato il codice di adattamento per l'edge insieme ai principali framework di inferenza. Il sottinteso è chiaro: non è una demo di laboratorio, ma qualcosa che gli sviluppatori possono prendere e mettere in produzione.

La scelta di rotta dietro 60 milioni di download

La serie MiniCPM, mantenuta congiuntamente da ModelBest e dalla community OpenBMB, ha superato i 60 milioni di download cumulati, coprendo testo, visione e voce. Il numero non è piccolo nel mondo dell'open source: dimostra che la linea dei piccoli modelli all'edge risponde a una domanda reale e stabile, non a un discorso di facciata dei produttori.

Nella stessa settimana, i fronti nazionali dell'edge e dell'open source hanno fatto altre mosse. Xiaomi ha aperto la serie MiMo-V2.6; la versione flagship Pro ha 1,02 trilioni di parametri totali, circa 42 miliardi attivati, un contesto di 1 milione di token, segue una via di apprendimento per rinforzo di «auto-miglioramento ricorsivo» e, cosa rara, ha reso pubblici i costi di training RL. L'Istituto di Automazione dell'Accademia Cinese delle Scienze, insieme all'Istituto di Intelligenza Artificiale di Wuhan, ha aperto Zidong Taichu ZDTaichu5.0-9B, pubblicando non solo i pesi, ma un'intera pipeline di produzione di dati multimodali spaziali, dall'ingestione e pulizia dei dati all'annotazione 3D e alla verifica tramite sintesi.

Questi progetti hanno un tratto in comune: non forniscono più solo un modello, ma un metodo per «trasformare i propri dati in capacità del modello». Per i team che vogliono ottenere risultati nel proprio settore, quest'ultimo vale spesso di più.

Che cosa risolve davvero l'edge

I modelli nel cloud sono più intelligenti, e questo non cambierà a breve. Il valore dell'edge non sta nella capacità assoluta, ma in alcune cose molto concrete: latenza stabile, utilizzo senza rete, dati che non lasciano il dispositivo. Per chi costruisce strumenti interni aziendali, ispezione medica o industriale, hardware educativo, gli ultimi due contano spesso più di qualche punto di benchmark in più.

Bisogna anche vedere bene la distanza. 35B-A3B attiva 3 miliardi di parametri per passata, quindi la sua capacità ricade più o meno nella fascia dei modelli piccoli e medi, e non è ancora la stessa cosa dei migliori modelli chiusi. Girare senza perdite all'edge risolve il «gira», non il «gira meglio». Se lo si considera un assistente offline, privato e sempre pronto, le aspettative saranno più precise.

Per finire

Nell'ultimo anno il campo di battaglia principale della corsa ai grandi modelli sono stati i parametri e le classifiche. Ma quando la guerra dei parametri arriva a un certo punto, «ci sta nel dispositivo che l'utente ha in mano» comincia a diventare una nuova linea di confine. La cosa interessante di MiniCPM-V4.7 non è che ha aggiornato di nuovo un punteggio, ma che ha portato «far girare MoE all'edge» da slogan a soluzione ingegneristica riproducibile.

L'immaginazione dell'edge non sta nel copiare il cloud, ma negli angoli che il cloud non raggiunge: sale server sotterranee, montagne senza segnale e postazioni di lavoro comuni che non vogliono caricare altrove i propri materiali. Questi scenari non finiranno in tendenza, ma sono il vero mercato dei modelli all'edge.