DeepSeek opensourcet DeepInfer, de stack waar hun eigen productie op draait#
DeepSeek heeft zijn interne inference-framework onder Apache-2.0 op GitHub gezet, plus deepseek-recipe (MIT) voor het token-encode/decode-pad. Het is nadrukkelijk géén algemene engine: DeepInfer ondersteunt alleen DeepSeek-V4.1-Flash en richt zich op Nvidia SM100 en Huawei Ascend 950, met distributed inference en speculative decoding, en hij komt uit een vork van vLLM met ideeën uit SGLang en TensorRT-LLM. Wel alleen offline werken: er is nog geen KV-cache-systeem, geen load balancer over data-parallelle replicas, en prefill/decode-disaggregatie staat op de roadmap (de meeste engine-onderdelen daarvoor zitten er al in). De repo is jong: drie commits, 10,8k sterren, en bovenaan GitHub Trending.