← Volver al blog
Aiaprox. 7 min de lectura

DeepSeek liberó el motor de inferencia y se quedó con la caja de cambios

Publicado 11 nov 2026
DeepSeek liberó el motor de inferencia y se quedó con la caja de cambios

DeepSeek publicó DeepInfer esta semana. El README lo describe como “el framework de inferencia de alto rendimiento que sostiene los servicios de producción a gran escala de DeepSeek”. Soporta exactamente un modelo, DeepSeek-V4.1-Flash, y viene con una lista de lo que falta: un sistema de KV cache y las capas de servicio VE/Prefill/Decode.

Ahí está lo interesante del lanzamiento. Esto no es un producto. Es el bloque del motor, entregado sin la caja de cambios.

Las cerca de 25.000 estrellas en menos de un mes sugieren que la gente entendió el gesto de todos modos.

Qué viene en la caja

La lista de funciones parece un conjunto de respuestas a problemas que solo aparecen a escala.

Paralelismo. Attention DP, CP balanceado, MoE EP con EPLB. EPLB es el balanceo de carga en paralelismo de expertos, la parte de servir un modelo mixture-of-experts que todo el mundo subestima: el router no reparte el tráfico de forma uniforme, así que algunas GPU acaban con expertos calientes y hacen el triple de trabajo.

DSpark con verificación programada por confianza. Es decodificación especulativa con un matiz. Se proponen tokens de borrador y luego una estimación de confianza decide cuánto del borrador se verifica. Se activa con DEEPINFER_ENABLE_MTP_VARLEN=1, y DEEPINFER_USE_NEXTN_DECODE limita la longitud del borrador, con cinco por defecto.

Replay acotado por SWA. La atención de ventana deslizante significa que el decodificador no necesita todo el prefijo para el prefill; necesita la ventana, más la longitud de retroceso que permitas. Los valores por defecto del README son modo compact con 140 tokens retenidos. Menos trabajo de prefill, misma salida.

Planificación asíncrona. La planificación de lotes en CPU se solapa con la ejecución en el dispositivo. Activa por defecto. Sin glamour, y probablemente vale más que cualquier optimización de kernel del repositorio.

Luego vienen las dos funciones que no tienen nada que ver con la velocidad.

La invariancia de lote es el titular discreto

Con DEEPINFER_BATCH_INVARIANT=1, el modelo produce resultados idénticos sea lo que sea el resto del lote. Combínalo con DEEPINFER_ENABLE_MTP_VARLEN=0 y un seq_seed fijo y tienes muestreo determinista: mismos tokens de entrada, mismos parámetros, misma salida, siempre.

Casi nadie lo anuncia, porque casi nadie lo necesita, hasta que lo necesita.

El momento en que lo necesitas es cuando un cliente dice “esta respuesta estaba mal ayer y bien hoy, ¿qué cambió?”. Si la respuesta depende de la composición del lote, entonces depende de lo ocupado que estuviera tu servidor. Dos usuarios que hacen la misma pregunta a las 3 y a las 15 pueden recibir textos distintos, y no hay bug que encontrar porque nada está roto. Es una propiedad muy desagradable de descubrir en producción y muy fácil de tapar con “los LLM son estocásticos”.

La inferencia invariante de lote es lo que permite escribir una prueba de regresión. Es lo que hace que un número de evaluación signifique algo. Y, sin rodeos, es una función que cuesta throughput, por eso viene desactivada por defecto y limitada a hardware NVIDIA en esta versión.

Un pasillo de racks de servidores de noche, con un blade encendido en verde y el resto apagados, cables en manojos paralelos

Dos objetivos de hardware, uno sorprendente

El hardware compatible aparece como GPU NVIDIA SM100 y NPU Huawei Ascend 950. No “NVIDIA y AMD”. No “CUDA y ROCm”. SM100 y Ascend 950.

DeepSeek lleva un tiempo publicando infraestructura para el lado Ascend: TileLang, DeepGEMM, DeepEP, FlashMLA y DeepSelect tienen equivalentes en la pila de Huawei. La lista de kernels de DeepInfer nombra esos mismos componentes, más kernels TileLang propios, y después declara el soporte de NPU a nivel de framework, no de kernel.

La distinción importa. Soportar un segundo acelerador a nivel de kernel obliga a escribir un segundo conjunto de kernels. Soportarlo a nivel de framework, con el mismo planificador y la misma estrategia de paralelismo, implica que la abstracción se diseñó portátil desde el principio. Si el rendimiento acompaña es otra pregunta, y el README no la responde.

Por qué abrir el motor y no el servicio

Las omisiones son la estrategia. Un sistema de KV cache y una separación entre prefill y decode son justo las piezas que convierten un motor de inferencia en un negocio de serving. También son las más difíciles de abrir con responsabilidad, porque codifican supuestos sobre la forma de tu tráfico, tu SLA y tu mezcla de hardware.

Lo que queda es la parte que se beneficia de ser pública: kernels, planificación, paralelismo, comportamiento de precisión. Si eres un laboratorio que intenta que adopten tu modelo, publicar el motor significa que cualquier proveedor de nube puede alcanzar tus cifras de rendimiento y que los competidores no pueden decir que tu velocidad era un truco privado.

También hay un ángulo práctico. DeepSeek-V4.1-Flash es un modelo barato y rápido. Los modelos baratos y rápidos viven o mueren por la eficiencia de serving, porque el margen es fino y el volumen enorme. Mejorar un 5% el throughput es un resultado de negocio, no una curiosidad de ingeniería. Entregar el motor al ecosistema sube el suelo de todos los que revenden tu modelo.

Salidas estructuradas y el coste que nadie pone en el changelog

La última función de la lista es fácil de pasar por alto: restringir la generación a una regex, a un JSON schema o a una gramática EBNF, pasados por so_args en los parámetros de muestreo.

Todo sistema de producción serio lo necesita, porque la alternativa es parsear texto libre y esperar. Lo raro es verlo en el mismo lanzamiento que la inferencia invariante de lote, porque las dos interactúan. La decodificación restringida por gramática recorre un trie de tokens, y la forma de ese trie depende del schema, no del lote. Si la interacción está mal, tu muestreador “determinista” deja de serlo en el momento en que alguien manda un schema.

Poner las dos funciones en un mismo framework, con una sola variable de entorno controlando la ruta de determinismo, es el tipo de detalle que indica que este código atendió tráfico real. Nadie escribe esa protección para una demo.

Qué debería llevarse quien lo va a usar

Tres cosas, en el orden en que te van a importar.

Copia el interruptor de determinismo, no los kernels. Si sirves cualquier modelo y nunca comprobaste si tus salidas dependen de la composición del lote, es un experimento de una tarde y probablemente te sorprenda. No necesitas DeepInfer para hacerlo; necesitas mandar el mismo prompt como lote de uno y como parte de un lote de treinta y dos, y comparar los resultados.

El valor por defecto de 140 tokens es una pista. El README dice que el sufijo retenido debe cubrir la ventana SWA más la longitud máxima de retroceso, y luego da 140 como valor por defecto para V4.1. Ese número dice algo sobre la ventana de atención del modelo y la profundidad de su decodificación especulativa que no aparece en ningún otro sitio del lanzamiento.

Lee las exclusiones como una lista de tareas. KV cache, VE, prefill, decode. Si estás construyendo una pila de serving, esas cuatro palabras son tu proyecto real. El repositorio es la parte que habrías tenido que escribir desde cero de todos modos, y ahora no hace falta.

El punto de fondo es que la inferencia es donde vive hoy el negocio de los modelos. El entrenamiento se lleva los titulares y las rondas de financiación. Pero un modelo que cuesta un 30% menos de servir puede venderse un 30% más barato y seguir ganando dinero, y eso se decide en código como este, en interruptores como DEEPINFER_BATCH_INVARIANT, por gente que optimiza para una carga de trabajo que nunca vas a ver.

Artículos relacionados