← 블로그로
Ai약 10 분 읽기

DeepSeek, 추론 엔진만 공개…KV 캐시와 서빙 계층은 빠졌다

게시일 2026년 11월 11일
DeepSeek, 추론 엔진만 공개…KV 캐시와 서빙 계층은 빠졌다

DeepSeek이 이번 주 DeepInfer를 공개했다. README는 이렇게 설명한다. “DeepSeek의 대규모 프로덕션 서비스를 지탱하는 고성능 추론 프레임워크.” 지원 모델은 DeepSeek-V4.1-Flash 하나뿐이고, 빠진 것들의 목록도 함께 붙어 있다. KV 캐시 시스템, 그리고 VE/Prefill/Decode 서빙 계층이다.

이번 릴리스에서 가장 흥미로운 지점이 여기다. 제품이 아니다. 엔진 블록만, 변속기 없이 건네준 것이다.

스타 수는 한 달이 안 돼 약 2만5000개다. 그래도 사람들은 이 제스처를 알아본 모양이다.

상자 안에 실제로 든 것

기능 목록은 규모가 커져야만 나타나는 문제들에 대한 답안지처럼 읽힌다.

병렬화. Attention DP, 균형 CP, EPLB를 붙인 MoE EP. EPLB는 expert-parallel load balancing이다. mixture-of-experts 모델을 서빙할 때 모두가 과소평가하는 부분이다. 라우터는 트래픽을 고르게 보내지 않는다. 그래서 일부 GPU에 인기 전문가가 몰리고 세 배의 일을 하게 된다.

신뢰도 기반 검증을 붙인 DSpark. 투기적 디코딩에 한 가지를 더한 것이다. 드래프트 토큰을 제안하고, 이어서 신뢰도 추정이 드래프트의 어디까지 검증할지 결정한다. DEEPINFER_ENABLE_MTP_VARLEN=1을 켜고, DEEPINFER_USE_NEXTN_DECODE가 드래프트 길이 상한을 잡는다. 기본값은 5다.

SWA 경계 리플레이. 슬라이딩 윈도 어텐션이라는 건 디코더가 prefill에 전체 프리픽스를 필요로 하지 않는다는 뜻이다. 필요한 건 윈도와, 허용한 되돌림 길이다. README 기본값은 compact 모드에 유지 토큰 140개다. prefill 작업을 줄이고 출력은 같게 유지한다.

비동기 스케줄링. CPU 배치 스케줄링이 디바이스 실행과 겹친다. 기본 활성화. 화려하진 않지만, 이 저장소의 어떤 단일 커널 최적화보다 값어치가 클 수 있다.

그다음, 속도와 무관한 두 기능이 온다.

조용한 헤드라인은 배치 불변성이다

DEEPINFER_BATCH_INVARIANT=1을 켜면 배치에 무엇이 함께 들어 있든 모델이 동일한 결과를 낸다. 여기에 DEEPINFER_ENABLE_MTP_VARLEN=0과 고정된 seq_seed를 더하면 결정론적 샘플링이 된다. 같은 입력 토큰, 같은 파라미터, 같은 출력이 매번 나온다.

이걸 광고하는 곳은 거의 없다. 필요한 곳이 거의 없어서다. 필요해지기 전까지는.

필요해지는 순간은 고객이 “어제는 틀렸는데 오늘은 맞다, 뭐가 바뀐 거냐”고 말할 때다. 답이 배치 구성에 달려 있다면, 그 답은 서버가 얼마나 바빴는지에 달려 있다. 새벽 3시와 오후 3시에 같은 질문을 한 두 사람이 다른 문장을 받을 수 있고, 찾아야 할 버그는 없다. 고장 난 게 없기 때문이다. 프로덕션에서 발견하기에 가장 껄끄러운 성질이고, “LLM은 확률적이니까”로 덮기에 가장 쉬운 성질이다.

배치 불변 추론이 있어야 회귀 테스트를 쓸 수 있다. 평가 숫자에 의미가 생긴다. 그리고 솔직히 말하면 처리량을 깎아 먹는 기능이다. 기본값이 꺼져 있고, 이번 릴리스에서 NVIDIA 하드웨어로 제한된 이유다.

밤의 서버 랙 통로. 블레이드 한 대만 초록불이 켜져 있고 나머지는 어둡다. 케이블이 나란한 다발로 지나간다

하드웨어 타깃 두 개, 하나는 의외다

지원 하드웨어는 NVIDIA SM100 GPU와 Huawei Ascend 950 NPU다. “NVIDIA와 AMD”가 아니다. “CUDA와 ROCm”도 아니다. SM100과 Ascend 950이다.

DeepSeek은 이전부터 Ascend 쪽 인프라를 공개해왔다. TileLang, DeepGEMM, DeepEP, FlashMLA, DeepSelect 모두 화웨이 스택에 대응물이 있다. DeepInfer의 커널 목록도 같은 부품에 자체 TileLang 커널을 더한 구성이고, NPU 지원은 커널 계층이 아니라 프레임워크 계층에서 선언한다.

이 구분은 의미가 있다. 커널 계층에서 두 번째 가속기를 지원한다는 건 커널을 한 세트 더 쓴다는 뜻이다. 같은 스케줄러와 같은 병렬화 전략을 그대로 두고 프레임워크 계층에서 지원한다는 건, 추상화가 처음부터 이식 가능하게 설계됐다는 뜻이다. 성능이 나오는지는 별개의 질문이고, README는 거기에 답하지 않는다.

왜 서비스가 아니라 엔진을 공개했나

빠진 부분이 곧 전략이다. KV 캐시 시스템과 prefill/decode 분리는 추론 엔진을 서빙 사업으로 바꿔주는 바로 그 부품이다. 동시에 책임 있게 공개하기 가장 어려운 부분이기도 하다. 자사 트래픽 형태, SLA, 하드웨어 구성에 대한 가정이 박혀 있기 때문이다.

남는 것은 공개해서 이득을 보는 부분이다. 커널, 스케줄링, 병렬화, 정밀도 동작. 자기 모델을 퍼뜨리려는 랩이라면 엔진을 공개하는 순간 모든 클라우드 사업자가 같은 성능 수치를 낼 수 있게 되고, 경쟁자는 “그 속도는 비공개 요령”이라고 말할 수 없게 된다.

실무적인 각도도 있다. DeepSeek-V4.1-Flash는 싸고 빠른 모델이다. 싸고 빠른 모델은 서빙 효율로 죽고 산다. 마진이 얇고 물량이 막대하기 때문이다. 처리량 5% 개선은 엔지니어링 호기심이 아니라 사업 성과다. 엔진을 생태계에 넘기는 건 자사 모델을 재판매하는 모두의 바닥을 올리는 일이다.

구조화 출력, 그리고 체인지로그에 안 적히는 비용

목록의 마지막 기능은 지나치기 쉽다. 생성을 정규식, JSON 스키마, EBNF 문법으로 제약하는 기능이고, 샘플링 파라미터의 so_args로 넘긴다.

진지한 프로덕션 시스템은 모두 이게 필요하다. 대안이 자유 텍스트를 파싱하며 기도하는 것이니까. 특이한 점은 이게 배치 불변 추론과 같은 릴리스에 들어 있다는 것이고, 둘은 서로 간섭한다. 문법 제약 디코딩은 토큰 트라이를 따라가고, 그 트라이의 모양은 스키마에 달려 있다. 배치에는 달려 있지 않다. 이 상호작용을 틀리면 “결정론적” 샘플러는 호출자가 스키마를 보내는 순간 결정론적이지 않게 된다.

두 기능을 한 프레임워크에 넣고, 결정성 경로를 환경변수 하나로 제어한다. 이 코드가 실제 트래픽을 처리해봤다는 걸 알려주는 종류의 디테일이다. 데모를 위해 그런 가드를 쓰는 사람은 없다.

실무자가 가져갈 것

세 가지다. 나에게 빨리 닥치는 순서대로.

커널이 아니라 결정성 스위치를 복사하라. 어떤 모델이든 서빙하면서 출력이 배치 구성에 의존하는지 한 번도 확인한 적이 없다면, 반나절이면 끝나는 실험이고 아마 놀랄 것이다. DeepInfer는 필요 없다. 같은 프롬프트를 배치 1개로 보내고, 배치 32개의 일부로도 보내서 결과를 diff하면 된다.

140토큰 기본값은 힌트다. README는 유지 서픽스가 SWA 윈도와 최대 되돌림 길이를 덮어야 한다고 말한 뒤, V4.1 기본값으로 140을 준다. 이 숫자는 릴리스 어디에도 적히지 않은 모델의 어텐션 윈도와 투기적 디코딩 깊이를 알려준다.

제외 항목을 체크리스트로 읽어라. KV 캐시, VE, prefill, decode. 서빙 스택을 만든다면 이 네 단어가 실제 프로젝트다. 저장소는 어차피 밑바닥부터 썼어야 할 부분이고, 이제는 쓰지 않아도 된다.

더 큰 논점은 모델 사업의 현재 위치가 추론이라는 것이다. 학습이 헤드라인과 투자 라운드를 가져간다. 하지만 서빙 비용이 30% 싼 모델은 30% 낮게 값을 매겨도 돈을 번다. 그리고 그건 이런 코드에서, DEEPINFER_BATCH_INVARIANT 같은 스위치에서, 당신이 결코 보지 못할 워크로드에 맞춰 최적화하는 사람들에 의해 결정된다.

관련 글