Un muro de memoria fotónico es la apuesta de 88 millones de dólares que Volantis acaba de hacer

La propuesta de Volantis es fácil de enunciar y difícil de creer: construir un sistema de inferencia que haga desaparecer el muro de la memoria.

La empresa de semiconductores con sede en San Francisco cerró una Serie A de 88 millones de dólares el 1 de octubre, codirigida por Lachy Groom y Abstract Ventures, con la participación de John Doerr, VXI Capital, Triatomic y Susa Ventures. La lista de inversores ángel parece un quién es quién de la conversación sobre el coste de la inferencia, e incluye a Dwarkesh Patel, Naveen Rao y Sholto Douglas. El equipo fundador proviene de NVIDIA, AMD, Broadcom y Ayar Labs, con trabajo previo en el primer producto CoWoS, VCSEL sintonizables de gran volumen y óptica coempaquetada temprana.

La disyuntiva con la que todos han aprendido a convivir

Ejecutar un modelo grande a gran velocidad requiere dos cosas que el hardware no ha sido capaz de proporcionar juntas. Se necesita una capacidad enorme para contener los pesos y un ancho de banda enorme para alimentarlos de forma continua al motor de cómputo. Todas las arquitecturas en producción hoy eligen un lado.

La SRAM en chip ofrece ancho de banda sin capacidad, lo que limita el tamaño del modelo y las ventanas de contexto, al tiempo que eleva el coste y la energía por token. La HBM y la memoria de GPU ofrecen capacidad sin el ancho de banda suficiente para servir los modelos más grandes a gran velocidad. Incluso enfoques más nuevos, como la DRAM 3D, se mantienen en la misma curva, solo que más adelante en ella.

Volantis afirma que su primer sistema, A-1, está diseñado para elevar la capacidad y el ancho de banda conjuntamente en casi dos órdenes de magnitud. Eso le permitiría ejecutar modelos de más de 20 billones de parámetros a hasta 10.000 tokens por segundo por usuario. Esos son objetivos de diseño, anunciados por la empresa, sin verificación independiente. Trátalos como una declaración de intenciones, no como un benchmark.

La razón por la que la disyuntiva ha persistido tanto tiempo es la física. El ancho de banda está limitado por cuántos datos pueden cruzar la frontera entre la memoria y el cómputo, y esa frontera es donde realmente se va la mayor parte de la energía en un modelo grande. Mover los pesos de la memoria a las unidades aritméticas cuesta mucha más energía que la propia aritmética. Cualquier arquitectura que aumente el ancho de banda sin aumentar también ese coste gana dos veces.

La fotónica, apuntada hacia un problema más difícil

La fotónica ya mueve datos dentro de los centros de datos. Lo que existe hoy es, en su mayor parte, de chip a chip. Conectar el cómputo con la memoria es un problema distinto, porque exige que una cantidad de datos más de cien veces mayor viaje por distancias mucho más cortas. La energía y el coste se comportan de manera diferente a esa escala.

Volantis construyó su plataforma específicamente para ese entorno. En lugar de láseres externos, utiliza micro-VCSEL personalizados, apoyándose en la cadena de suministro existente de VCSEL de arseniuro de galio y evitando las limitaciones del fosfuro de indio que han estrangulado otros diseños ópticos. La empresa afirma que los enlaces resultantes consumen menos de un picojulio por bit.

La malla óptica agrupa muchos chips de memoria en un único recurso lógico, de modo que añadir memoria añade ancho de banda, no solo capacidad. Ese es el truco. También es la parte que decidirá si todo el conjunto funciona, porque agrupar memoria a través de una interconexión óptica es donde la latencia y la tolerancia a fallos se vuelven realmente difíciles. Un único enlace lento puede bloquear todo un grupo, y un fallo que antes dejaría fuera un módulo de memoria ahora tiene un radio de impacto mucho mayor.

Por qué el momento no es una casualidad

El mercado para esta propuesta ha cambiado de forma en el último año. Cuando los modelos respondían a preguntas, la inferencia era barata y las ráfagas eran cortas. A medida que los agentes asumen tareas más largas, ejecutándose durante minutos u horas seguidas, la velocidad de inferencia deja de ser una comodidad y se convierte en un multiplicador del rendimiento. Un agente de programación que termina una tarea en dos minutos en lugar de treinta no solo se siente más rápido. Cambia cuántas ideas puede probar un desarrollador en un día.

Ese cambio es la razón por la que los inversores que piensan en la economía de la inferencia siguen apareciendo en rondas como esta. Si las cargas de trabajo de los agentes escalan con la velocidad del hardware subyacente, entonces el hardware deja de ser un coste de fondo y se convierte en lo que determina la velocidad operativa de una empresa. El ancho de banda de memoria, en ese mundo, no es un número de ficha técnica. Es una partida en la rapidez con la que un negocio puede actuar.

Con quién compite esto

Volantis no está sola atacando el cuello de botella de la inferencia, y las alternativas determinan cómo debe juzgarse la apuesta. Los fabricantes de GPU siguen impulsando el ancho de banda con nuevos tipos de memoria y empaquetado, apretando con más fuerza la misma curva. Las empresas de diseño de chips persiguen aceleradores especializados ajustados a formas de modelo específicas. Una renovación fotónica compite contra todos ellos, y solo gana si mueve la curva en lugar de un punto sobre ella. Ese es un listón alto, y es exactamente por lo que la ronda es notable: los inversores serios rara vez financian a quienes mueven la curva, a menos que crean que el enfoque imperante está cerca de su límite.

La brecha honesta

Dos salvedades deberían figurar en cualquier lectura justa. La primera es que A-1 todavía no existe. Volantis planea entregar sus primeros motores de inferencia integrados a clientes en 2027, lo que deja margen para que muchas cosas salgan mal entre una ronda de financiación y un producto que se envía. La segunda es que las cifras son de la propia empresa, descritas como objetivos de diseño. No hay benchmark de terceros ni ningún cliente ejecutando el sistema.

Eso no hace que la apuesta sea irrazonable. La hace temprana. Los plazos de la industria de semiconductores son largos, y el dinero se está gastando en contratar ingenieros y en el camino hacia los primeros despliegues, no en comercializar un producto. Los 88 millones de dólares son una pista financiera, no una prueba.

El muro de la memoria en términos sencillos

El muro de la memoria es la brecha entre la rapidez con la que un procesador puede calcular y la rapidez con la que puede obtener los datos sobre los que calcula. En la IA moderna, la aritmética rara vez es el cuello de botella. Esperar a que lleguen los pesos sí lo es. La consecuencia es que un chip más rápido, por sí solo, aporta mucho menos de lo que implica la ficha técnica, porque el chip pasa gran parte del tiempo inactivo. Todos los esfuerzos serios en hardware de inferencia son, de alguna forma, un ataque contra ese tiempo de inactividad. Volantis lo ataca desde el lado de la memoria en lugar del lado del cómputo, que es el enfoque menos concurrido y el más difícil, porque exprimir ancho de banda de la ruta memoria-cómputo significa reconstruir la ruta misma en lugar de ajustar lo que está en cualquiera de sus extremos.

Qué lo demostraría

El hito que hay que observar no es un anuncio. Es un cliente ejecutando un modelo que de otro modo no cabría, a una velocidad que cambie lo que puede hacer. Si el A-1 se envía y la afirmación sobre el ancho de banda de memoria sobrevive al contacto con una carga de trabajo real, el muro de la memoria deja de ser un hecho de la vida y se convierte en un problema resuelto con un proveedor detrás.

Hasta entonces, el resumen honesto es que Volantis ha recaudado dinero serio de personas que entienden el problema, para atacar la restricción más difícil del hardware de inferencia, y ha prometido un sistema que importaría muchísimo si llega. En semiconductores, así es más o menos como empieza todo lo importante. También es como terminan muchas cosas caras.