先看清楚它是什么
2026 年 10 月 16 日，DeepSeek 在 GitHub 上放出了 DeepInfer，采用 Apache 2.0 协议。仓库自述写得很直白：这是支撑 DeepSeek 大规模生产服务的推理框架，本次开源的版本只提供离线推理，但把「服务到大规模」所需的核心能力放进来了。当日在 Hacker News 冲到两千分以上，是目前当日最热的条目。
支持的模型只有一个：DeepSeek-V4.1-Flash。这一点很重要——它不是通用推理框架，而是为自家模型量身调优的引擎。默认会从 Hugging Face 拉 DeepSeek-V4.1-Flash-1017 这个 checkpoint，也可以用环境变量指向本地目录。
并行与算子：自家的积木
并行策略写得比较克制：注意力层用 DP（数据并行）加「平衡的 CP」（上下文并行），MoE 层用 EP（专家并行）加 EPLB（专家负载均衡）。算子全部来自 DeepSeek 这两年陆续开源的组件：FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect，再加一批用 TileLang 写的自定义 kernel。这套组合的意图很清楚——把每一段关键路径都握在自己手里，而不是等上游框架兼容。
四个值得抄的工程开关
第一，DSpark 与置信度调度验证。用草稿 token 加速解码，再用置信度估计决定哪些草稿值得验证。打开方式是 DEEPINFER_ENABLE_MTP_VARLEN=1，DEEPINFER_USE_NEXTN_DECODE 控制草稿的最大长度，默认 5。
第二，SWA 有界重放。解码阶段只重放一段有界后缀，从而减少 prefill 的计算量。默认配置是 DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE=compact 加保留 140 个 token；文档特别提醒，保留的后缀必须覆盖滑动窗口加上最大回溯长度，否则结果会错。这类「省算力的开关顺手把正确性弄坏」的坑，值得记下来。
第三，异步调度。让 CPU 侧的批调度与设备侧的执行重叠起来，默认开启，属于零成本收益。
第四，批次无关推理与确定性采样。打开 DEEPINFER_BATCH_INVARIANT=1（仅 NVIDIA），同一个请求无论跟谁拼成一批，输出都一样；再配合关掉可变长草稿、给采样参数固定 seq_seed，就能做到相同输入必得相同输出。另有一项结构化输出，支持正则、JSON Schema、EBNF 语法约束生成。
第三第四这两条，恰恰是小团队最容易忽略、出问题又最难查的地方：线上同一个问题昨天答对、今天答错，你分不清是模型退化还是批次组合变了。把「批次无关」当成验收项，比事后抓日志便宜得多。
硬件门槛与缺的那几块
硬件只支持两类：NVIDIA SM100 系列 GPU，以及华为昇腾 950 NPU。环境要求 Linux、GCC 13 以上、Python 3.12、CUDA 13（昇腾侧是 CANN 9.2）。官方基准是在 4 张 SM100 上跑 prefill、64 张跑 decode，且两者位于同一个 scale-up 域内——换句话说，这是机柜级、多卡级的玩法，不是单卡玩具。
开源版明确不包含三块：KV cache 系统、Prefill/Decode 分离部署（引擎侧功能大部分已实现，缺的是编排）、数据并行副本之间的负载均衡。所以它是「引擎」，不是「开箱即用的服务」。仓库也坦白交代，代码最早基于 vLLM 起家，参考了 SGLang 与 TensorRT-LLM。
对做企业数字化/小团队的实际启发
第一，别急着下载编译。这套框架的门槛是 SM100 与昇腾 950，绝大多数中小团队手上没有这类卡；真正能立刻用的是它的设计思路，而不是产物。
第二，把「批次无关」和「确定性采样」写进你自己的 AI 功能验收清单。哪怕你只是调云端 API，也可以做一件事：同一批固定问题，隔天、换并发量重跑一遍，对比答案是否漂移。漂了就说明你的场景对批次敏感，上线前必须先定住。
第三，从这份开源里能读出一个判断：头部厂商正在把「省算力」的功夫下到滑动窗口、草稿长度、调度重叠这种细粒度上，而不再只是堆卡。给客户做成本测算时，优化空间往往在这类参数里，不在换更大模型上。
评论交流
欢迎留下你的想法