DeepSeek abriu o motor da inferência e ficou com o câmbio

A DeepSeek publicou o DeepInfer esta semana. O README descreve o projeto como “o framework de inferência de alta performance que sustenta os serviços de produção em larga escala da DeepSeek”. Ele suporta exatamente um modelo, o DeepSeek-V4.1-Flash, e vem com uma lista do que ficou de fora: sistema de KV cache e as camadas de serviço VE/Prefill/Decode.
É justamente aí que está a parte interessante do lançamento. Isso não é um produto. É o bloco do motor, entregue sem o câmbio.
As cerca de 25 mil estrelas em menos de um mês sugerem que as pessoas entenderam o gesto mesmo assim.
O que vem na caixa
A lista de recursos parece um conjunto de respostas para problemas que só aparecem em escala.
Paralelismo. Attention DP, CP balanceado, MoE EP com EPLB. EPLB é o balanceamento de carga em paralelismo de especialistas, a parte de servir um modelo mixture-of-experts que todo mundo subestima: o roteador não distribui o tráfego de forma uniforme, então algumas GPUs acabam com especialistas quentes e fazem o triplo do trabalho.
DSpark com verificação agendada por confiança. É decodificação especulativa com um detalhe a mais. Tokens de rascunho são propostos, e uma estimativa de confiança decide quanto do rascunho será verificado. Você liga com DEEPINFER_ENABLE_MTP_VARLEN=1, e DEEPINFER_USE_NEXTN_DECODE limita o tamanho do rascunho, com padrão em cinco.
Replay limitado por SWA. Atenção de janela deslizante significa que o decodificador não precisa do prefixo inteiro para o prefill; precisa da janela, mais o comprimento de retrocesso que você permitir. Os padrões do README são modo compact com 140 tokens retidos. Corta trabalho de prefill, mantém a saída igual.
Agendamento assíncrono. O escalonamento de lotes na CPU se sobrepõe à execução no dispositivo. Vem ligado por padrão. Sem glamour, e provavelmente vale mais do que qualquer otimização de kernel no repositório.
Depois vêm os dois recursos que não têm nada a ver com velocidade.
Invarância de lote é a manchete discreta
Com DEEPINFER_BATCH_INVARIANT=1, o modelo produz resultados idênticos independentemente do que mais está no lote. Combine com DEEPINFER_ENABLE_MTP_VARLEN=0 e um seq_seed fixo e você tem amostragem determinística: mesmos tokens de entrada, mesmos parâmetros, mesma saída, sempre.
Quase ninguém anuncia isso, porque quase ninguém precisa — até precisar.
O momento em que você precisa é quando um cliente diz “esta resposta estava errada ontem e certa hoje, o que mudou”. Se a resposta depende da composição do lote, então a resposta depende de quão ocupado estava o seu servidor. Dois usuários fazendo a mesma pergunta às 3h e às 15h podem receber textos diferentes, e não há bug para encontrar porque nada está quebrado. É uma propriedade péssima de descobrir em produção, e muito fácil de encobrir com “LLMs são estocásticos”.
Inferência invariante a lote é o que permite escrever um teste de regressão. É o que faz um número de avaliação significar alguma coisa. E, francamente, é um recurso que custa throughput, motivo pelo qual vem desligado por padrão e restrito a hardware NVIDIA nesta versão.

Dois alvos de hardware, um deles surpreendente
O hardware suportado está listado como GPUs NVIDIA SM100 e NPUs Huawei Ascend 950. Não “NVIDIA e AMD”. Não “CUDA e ROCm”. SM100 e Ascend 950.
A DeepSeek publica infraestrutura para o lado Ascend há algum tempo: TileLang, DeepGEMM, DeepEP, FlashMLA e DeepSelect todos têm equivalentes na pilha da Huawei. A lista de kernels do DeepInfer nomeia esses mesmos componentes, mais kernels TileLang próprios, e então declara o suporte a NPU no nível do framework, não no nível do kernel.
A distinção importa. Suportar um segundo acelerador no nível do kernel significa escrever um segundo conjunto de kernels. Suportar no nível do framework, com o mesmo escalonador e a mesma estratégia de paralelismo, significa que a abstração foi desenhada para ser portátil desde o início. Se o desempenho acompanha é outra pergunta, e o README não responde.
Por que abrir o motor e não o serviço
As omissões são a estratégia. Um sistema de KV cache e uma separação entre prefill e decode são exatamente as peças que transformam um motor de inferência em um negócio de serving. Também são as mais difíceis de abrir com responsabilidade, porque carregam suposições sobre o formato do seu tráfego, seu SLA e a mistura de hardware que você usa.
O que sobra é a parte que se beneficia de ser pública: kernels, escalonamento, paralelismo, comportamento de precisão. Se você é um laboratório tentando fazer seu modelo ser adotado, publicar o motor significa que qualquer provedor de nuvem consegue alcançar seus números de desempenho, e que concorrentes não podem dizer que sua velocidade era truque interno.
Há também um ângulo prático. O DeepSeek-V4.1-Flash é um modelo barato e rápido. Modelos baratos e rápidos vivem ou morrem pela eficiência de serving, porque a margem é fina e o volume é enorme. Ganhar 5% de throughput é resultado de negócio, não curiosidade de engenharia. Entregar o motor ao ecossistema eleva o piso de todo mundo que revende o seu modelo.
Saídas estruturadas e o custo que ninguém põe no changelog
O último recurso da lista é fácil de passar batido: restringir a geração a uma regex, a um JSON schema ou a uma gramática EBNF, passados por so_args nos parâmetros de amostragem.
Todo sistema de produção sério precisa disso, porque a alternativa é fazer parsing de texto livre e torcer. O incomum é ver isso no mesmo lançamento que a inferência invariante a lote, porque os dois interagem. Decodificação restrita por gramática percorre uma trie de tokens, e o formato dessa trie depende do schema, não do lote. Erre a interação e o seu amostrador “determinístico” deixa de ser determinístico no instante em que um chamador manda um schema.
Colocar os dois recursos no mesmo framework, com uma única variável de ambiente controlando o caminho de determinismo, é o tipo de detalhe que mostra que esse código atendeu tráfego real. Ninguém escreve essa proteção para uma demo.
O que um profissional deve levar daqui
Três coisas, na ordem em que vão importar para você.
Copie o interruptor de determinismo, não os kernels. Se você serve qualquer modelo e nunca checou se as saídas dependem da composição do lote, isso é um experimento de uma tarde e provavelmente vai te surpreender. Você não precisa do DeepInfer para isso; precisa mandar o mesmo prompt como lote de um e como parte de um lote de trinta e dois, e comparar os resultados.
O padrão de 140 tokens é uma pista. O README diz que o sufixo retido precisa cobrir a janela SWA mais o comprimento máximo de retrocesso, e então informa 140 como padrão do V4.1. Esse número diz algo sobre a janela de atenção do modelo e sobre a profundidade da decodificação especulativa que não está declarado em nenhum outro lugar do lançamento.
Leia as exclusões como checklist. KV cache, VE, prefill, decode. Se você está construindo uma pilha de serving, essas quatro palavras são o seu projeto de verdade. O repositório é a parte que você teria que escrever do zero de qualquer forma, e agora não precisa.
O ponto maior é que a inferência é onde o negócio de modelos mora hoje. Treinamento leva as manchetes e as rodadas de investimento. Mas um modelo que custa 30% menos para servir pode ser vendido 30% mais barato e ainda dar lucro, e isso se decide em código como este, em interruptores como DEEPINFER_BATCH_INVARIANT, por pessoas otimizando para uma carga de trabalho que você nunca vai ver.
Artigos relacionados
O Antigravity levou os agentes para a nuvem. O que fica de fora é o seu setup local
A versão 2.29 do Antigravity coloca o agente em uma VM na nuvem que sobrevive ao seu laptop e usa voz para aprovar permissões. O setup local não vai junto.
A NVIDIA abriu quatro modelos de mundo de 16B. O que ninguém mediu é o aprendizado de política
Quatro modelos de mundo abertos de 16B e um decodificador que emite geometria de uma só vez. A NVIDIA entregou as duas metades, mas admitiu que falta medir o aprendizado de política.
Quatro dos repositórios em alta no GitHub são bibliotecas de skills. O problema agora é empacotar
Skills de agente ocupam mais de um quarto das tendências do GitHub, vindas da Anthropic, Google e Cloudflare. O formato é simples; o empacotamento é um caos de quatro caminhos.
A Thinking Machines lançou um modelo de 594B e empurrou os pesos para a semana seguinte
O Inkling 2 Small chega com contexto de um milhão de tokens e visão como canal de verificação. Os pesos abertos, prometidos para a semana seguinte, ainda não têm data.