Un solo teléfono ejecuta 35.000 millones de parámetros, de la demo al día a día

Un solo teléfono ejecuta 35.000 millones de parámetros, de la demo al día a día

El 13 de octubre, ModelBest (面壁智能) presentó una nueva generación de gran modelo multimodal en el dispositivo, MiniCPM-V4.7, y lo hizo con dos versiones a la vez: 35B-A3B y 1B. A primera vista parece una iteración de rutina, pero el modelo 35B-A3B merece una segunda mirada: 35.000 millones de parámetros totales, arquitectura MoE (Mixture of Experts), y solo unos 3.000 millones de parámetros activados en cada inferencia. La empresa lo presenta como «el primer modelo MoE de código abierto que se ejecuta sin pérdida y con fluidez en el borde», y en funcionamiento ocupa unos 3GB de memoria.

Medido en un iPad Pro, la velocidad de decodificación supera los 15 token/s. Se pregunta una cosa, responde, sin quedarse mirando una barra de progreso que avanza despacio.

El dilema del MoE en el borde

El MoE es popular porque hace bien las cuentas: dividir el modelo en muchos «expertos» y despertar solo a unos pocos cada vez. El total de parámetros puede ser enorme mientras el cómputo real se acerca al de un modelo pequeño. Esta vía es cómoda en la nube, donde los centros de datos tienen VRAM de sobra.

Trasladada al borde, resulta incómoda. El cuello de botella no es la potencia de cálculo, sino la memoria. Todos los expertos deben cargarse de antemano, porque nadie sabe cuál usará el siguiente token. 35.000 millones de parámetros ahí quietos en precisión normal son decenas de GB, y la memoria del teléfono se agota al instante. En el borde, «potente» y «que funcione» se convierten en una elección única.

Despertar al siguiente experto por adelantado

La solución de ModelBest se llama LES, Lookahead Expert Scheduling. La idea no tiene misterio: si se puede predecir qué expertos se usarán, se predice con antelación. Mientras el cálculo matricial actual sigue en marcha, el sistema determina qué expertos se invocarán a continuación y los carga en memoria antes, de modo que carga y cálculo se solapan.

Dicho de otro modo: se cambia «correr al almacén a por la mercancía en el último momento» por «mientras trabajas, alguien te pasa el siguiente artículo por adelantado». La empresa señala que hoy es la única solución de código abierto de este tipo en la industria.

Dos versiones, cada una su terreno

35B-A3B se encarga de llevar capacidad de nivel insignia al borde. Apunta a escenarios como estos: querer una comprensión cercana a la nube sin aceptar enviar los datos fuera. Las preguntas y respuestas sobre documentos sin conexión, el reconocimiento inmediato con una foto y los asistentes de voz sin red entran todos en su alcance. La versión 1B lleva la eficiencia al extremo, con el objetivo de que funcione en más dispositivos, no solo en unos pocos insignia.

El día del lanzamiento, MiniCPM-V4.7 completó su adaptación a plataformas de chips como Rockchip, NVIDIA, Intel y Apple, admite iOS, Android y HarmonyOS, y publicó el código de adaptación en el borde junto con los principales frameworks de inferencia. El subtexto es claro: no es una demo de laboratorio, sino algo que los desarrolladores pueden tomar y poner en producción.

La elección de camino tras 60 millones de descargas

La serie MiniCPM, mantenida en conjunto por ModelBest y la comunidad OpenBMB, ha superado los 60 millones de descargas acumuladas, y abarca texto, visión y voz. La cifra no es pequeña en el mundo del código abierto: demuestra que la línea de pequeños modelos en el borde responde a una demanda real y estable, no a un discurso de fabricante.

Esa misma semana, los frentes nacionales del borde y del código abierto hicieron otros movimientos. Xiaomi liberó la serie MiMo-V2.6; su versión insignia Pro tiene 1,02 billones de parámetros totales, unos 42.000 millones activados, un contexto de 1 millón de tokens, sigue una vía de aprendizaje por refuerzo de «automejora recursiva» y, algo poco habitual, publicó el coste de entrenamiento RL. El Instituto de Automatización de la Academia de Ciencias de China, junto con el Instituto de Inteligencia Artificial de Wuhan, liberó Zidong Taichu ZDTaichu5.0-9B, publicando no solo los pesos, sino toda una cadena de producción de datos multimodales espaciales, desde la ingesta y limpieza de datos hasta la anotación 3D y la verificación por síntesis.

Estos proyectos comparten un rasgo: ya no entregan solo un modelo, sino un método para «convertir tus propios datos en capacidades del modelo». Para los equipos que quieren aterrizar resultados en su sector, esto último suele valer más.

Qué resuelve realmente el borde

Los modelos en la nube son más listos, y eso no cambiará a corto plazo. El valor del borde no está en la capacidad absoluta, sino en unas cuantas cosas muy concretas: latencia estable, uso sin red y datos que no salen del dispositivo. Para quienes construyen herramientas internas de empresa, inspección médica o industrial, o hardware educativo, las dos últimas suelen importar más que unos pocos puntos de benchmark.

También conviene ver bien la distancia. 35B-A3B activa 3.000 millones de parámetros por pasada, así que su capacidad cae más o menos en la franja de los modelos pequeños y medianos, y aún no es lo mismo que los mejores modelos cerrados. Ejecutarse sin pérdida en el borde resuelve el «funciona», no el «funciona mejor». Si se le toma como un asistente sin conexión, privado y siempre disponible, las expectativas serán más acertadas.

Para terminar

Durante el último año, el campo de batalla principal de la carrera de los grandes modelos han sido los parámetros y las clasificaciones. Pero cuando la guerra de parámetros llega a cierto punto, «¿cabe en el dispositivo que el usuario tiene en la mano?» empieza a convertirse en una nueva línea divisoria. Lo interesante de MiniCPM-V4.7 no es que haya vuelto a batir una puntuación, sino que ha llevado «ejecutar MoE en el borde» de eslogan a una solución de ingeniería reproducible.

La imaginación del borde no está en copiar la nube, sino en los rincones que la nube no alcanza: salas de servidores bajo tierra, montañas sin señal y puestos de trabajo corrientes que no quieren subir sus materiales a otro sitio. Estos escenarios no serán tendencia, pero son el verdadero mercado de los modelos en el borde.