← Volver al blog
Aiaprox. 7 min de lectura

DeepSeek publicó su stack de servicio. Lee primero lo que falta

Publicado 7 nov 2026
DeepSeek publicó su stack de servicio. Lee primero lo que falta

DeepSeek publicó esta semana DeepInfer: el framework de inferencia que mueve su propio tráfico de producción a gran escala, ahora disponible bajo Apache 2.0. Superó las 25.000 estrellas en un mes sin evento de lanzamiento, lo que dice mucho de las ganas que hay de ver cómo sirve un modelo un laboratorio de frontera.

Antes de que alguien lo compare con vLLM un domingo por la tarde, conviene leer la sección del README que enumera lo que no incluye la publicación. Es el párrafo más honesto del repositorio.

Lo que sí tienes

DeepInfer es un motor de inferencia offline para exactamente un modelo: DeepSeek-V4.1-Flash. No una familia, no una arquitectura de plugins con una docena de adaptadores de modelo. Un checkpoint, afinado hasta que los kernels dejaron de quejarse.

Esa estrechez es el punto. La lista de funciones es un recorrido por todo lo que cuesta dinero a escala:

  • Kernels optimizados: FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect, más kernels propios en TileLang.
  • Paralelismo: paralelismo de datos en la atención con paralelismo de contexto equilibrado, y paralelismo de expertos MoE con EPLB (equilibrado de carga a nivel de experto, lo que evita que un experto se convierta en punto caliente).
  • DSpark y verificación con agenda por confianza: decodificación especulativa en la que la longitud del borrador la marca la confianza y no un número fijo. La longitud del borrador es 5 por defecto vía DEEPINFER_USE_NEXTN_DECODE.
  • Repetición acotada SWA: en lugar de repetir todo el prefijo, se repite solo un sufijo acotado. Los ajustes por defecto de V4.1 conservan 140 tokens y exigen que el sufijo cubra la ventana deslizante más la distancia máxima de retroceso.
  • Planificación asíncrona: la planificación de lotes en CPU se solapa con la ejecución en el dispositivo, activada por defecto.
  • Inferencia invariante por lote y muestreo determinista: los mismos tokens de entrada producen los mismos tokens de salida sin importar qué más haya en el lote.
  • Salidas estructuradas: restricciones por regex, esquema JSON o gramática EBNF que se pasan a través de SamplingParams.

Ese último bloque es el que subrayaría. Casi todos los stacks de servicio saben hacer salidas estructuradas. Muy pocos pueden prometer que tu salida será idéntica byte a byte tanto si enviaste una petición como mil, porque la mayoría de los kernels eligen órdenes de reducción distintos según la forma del lote, y distintos órdenes de reducción producen distintos resultados en coma flotante. Si alguna vez un test de regresión te falló porque el lote creció, ya sabes por qué esto importa.

A macro view of a GPU board edge with copper traces and a liquid cooling fitting

Lo que no tienes

Tres cosas, explicadas en el README sin mucho drama:

  • Un sistema de caché KV.
  • Disagregación de VE / prefill / decode: «la mayor parte de la funcionalidad necesaria del motor ya está implementada», pero la fontanería de despliegue no viene incluida.
  • Equilibrado de carga entre réplicas de paralelismo de datos, por separado para prefill y decode.
  • Cualquier cosa que no sea DeepSeek-V4.1-Flash.

Lee esa lista dos veces. Un servicio de inferencia en producción no es un kernel rápido; es un kernel rápido más una caché que sobrevive a la expulsión más un enrutador que sabe qué réplica está fría. DeepInfer te da el motor, no el coche. Si eres un equipo de investigación con ocho GPUs y un benchmark que reproducir, esto es exactamente lo que necesitas. Si eres una startup que espera cambiarlo por su despliegue de vLLM el próximo sprint, vas a pasar un trimestre reconstruyendo las piezas que se dejaron fuera a propósito.

El hardware es la historia real

Hardware compatible: GPUs NVIDIA SM100 y NPUs Huawei Ascend 950. Dos líneas, sin comentarios.

Es notable poner eso en un README. Un framework que trata una pieza tope de gama de NVIDIA y un acelerador chino de fabricación local como objetivos pares te está diciendo dónde corre de verdad su tráfico de producción, o dónde espera que corra. El sistema de compilación lo deja explícito: export DEEPINFER_ACCELERATOR=nvidia, o ascend en su lugar. CUDA 13 por un camino, CANN 9.2 por el otro.

Para la mayoría de los equipos occidentales esto es una curiosidad. Para quien construye en China, o construye algo que tiene que sobrevivir a un titular sobre controles de exportación, es la línea más trascendente del repositorio.

Instalarlo, con honestidad

Los requisitos previos no son amables: Linux, GCC 13 o superior, Python 3.12, CUDA 13. Después:

export DEEPINFER_ACCELERATOR=nvidia
./build.sh
python examples/offline_inference.py

El checkpoint por defecto se descarga de Hugging Face en la primera ejecución; define DEEPINFER_HF_MODEL_DIR si ya lo tienes en local. Los benchmarks se midieron en cuatro GPUs SM100 para prefill y sesenta y cuatro para decode, lo que debería calibrar tus expectativas sobre qué significa «rápido» aquí. No vas a reproducir esas cifras en una 4090, y no hay camino de consumo en absoluto.

El linaje se declara sin rodeos: nació sobre vLLM, con ideas de SGLang y TensorRT-LLM. Es un reconocimiento elegante y también un mapa útil. Si conoces el planificador de vLLM y la caché radix de SGLang, puedes adivinar qué partes reescribió DeepInfer y cuáles heredó.

Por qué los laboratorios abren esto

Tres razones plausibles, y no son excluyentes.

Primera, credibilidad. Publicar el stack de servicio es una forma de decir que las cifras del benchmark salieron de algo real. Cualquiera puede citar tokens por segundo. Entregar el código que las produjo es un nivel de afirmación distinto.

Segunda, ecosistema. Los frameworks de servicio son el sitio donde viven los ingenieros de inferencia. Si tu modelo funciona bien en el framework que todo el mundo ya conoce, ganas adopción gratis. Si solo funciona bien en tu framework, el framework tiene que ganarse a sus propios usuarios.

Tercera, contratación y estándares. Un laboratorio que publica sus kernels fija el vocabulario. Cuando el siguiente paper diga «invariante por lote», todos entenderán lo que entiende DeepInfer.

Lo que no hace es entregarte un producto. La distancia entre «abrimos nuestro motor» y «puedes servir este modelo barato» es exactamente la distancia sobre la que el README es honesto.

Qué hacer con esto este mes

Si te ganas la vida con la inferencia, clónalo, corre el ejemplo offline en el hardware Blackwell o Ascend que puedas alquilar y mide dos cosas: el tiempo hasta el primer token con una distribución de prompts realista, y si el muestreo determinista se sostiene de verdad entre tamaños de lote. Son las dos afirmaciones baratas de verificar y caras de falsificar.

También hay un uso más estrecho y más práctico: puntuación por lotes offline. Si necesitas correr una suite de evaluación fija diez veces y comparar las salidas, el muestreo determinista convierte eso de un ejercicio estadístico en un diff. La mayoría de los arneses de evaluación gastan la mitad de su complejidad en sortear el hecho de que el mismo prompt da respuestas distintas con distintos tamaños de lote. Un stack de servicio que garantiza lo contrario elimina toda una categoría de herramientas.

Si no te dedicas a esto, el repo sigue valiendo una hora. No como software, como especificación. Es un laboratorio de frontera diciéndote qué problemas consideró lo bastante difíciles para resolverlos en casa: equilibrio de carga de expertos, repetición acotada para atención de ventana deslizante, especulación con umbral de confianza y reproducibilidad exacta a nivel de bit. Esa lista es un mapa decente de dónde vienen de verdad los costos de inferencia, y seguirá siendo cierto mucho después de que V4.1-Flash se jubile.

Código abierto, en este caso, significa «aquí está el motor, aquí está el ajuste, aquí está el único modelo que nos importa». El resto —la caché, el enrutador, ese centro poco glamuroso— sigue siendo la parte que construyes tú.

Artículos relacionados