DeepSeek开源DeepInfer，但KV缓存和负载均衡仍未开放：这次开源到哪一层？

大模型服务不是把权重放进显卡就结束。推理框架负责把请求切分、调度到计算设备、执行模型运算，并在吞吐、延迟和资源占用之间做取舍；在线服务还要处理缓存、流量分发、故障恢复、用户隔离和负载均衡。一个框架可以让开发者了解模型怎样运行，却不一定包含一家公司用来稳定承载大量用户请求的全部系统。

DeepInfer的公开范围需要按官方资料逐项读。README称当前版本支持DeepSeek-V4.1-Flash离线推理，并列出优化内核、并行执行、投机解码、SWA、调度、确定性采样和结构化输出等功能。官方部署问答也说明，KV cache系统和负载均衡等组件与内部基础设施紧密耦合，未被完整开源。因此，准确说法是“公开了部分推理框架和离线运行能力”，不能简化为“DeepSeek线上服务完整开源”。

部署门槛也不低。仓库列出的环境要求包括Linux、GCC 13及以上、Python 3.12，以及CUDA 13或CANN 9.2。它面向具备相应软件栈和加速硬件的工程团队，不是下载后即可在普通笔记本上运行的消费应用。对想评估的人，第一步应确认硬件、驱动、编译链与目标模型版本；第二步核对支持的加速卡和运行路径；第三步再测吞吐、延迟、显存、稳定性及故障恢复。

测试时还要分清离线吞吐与在线体验。离线批量任务可以接受队列等待，交互式问答则更在意首个Token延迟和长尾响应；多个用户同时访问时，缓存命中、请求长度和调度策略都会改变实际成本。团队宜先选定目标流量与输入输出分布，固定模型量化、并发和批量条件，再测每秒Token、P50/P95延迟、显存峰值、失败恢复和单次有效请求成本。否则，即便跑出更高吞吐，也未必对应用户真正需要的服务质量。

官方资料还提到DeepSeek生产规模和收入指标，但这些是公司披露，不等于经审计的经营数据或独立复现实验。仓库当前可见的性能表信息有限，若要比较不同框架，必须使用相同模型、硬件、批量大小、输入输出长度、并发和计量方式。没有这些条件，单一吞吐数字很容易失去解释力。微博榜单上的热度也只是关注信号，不能替代代码检查或性能复测。

对产业来说，部分开源仍有实质价值：研究人员和基础设施团队可以检查推理执行路径、探索算子与调度优化，并在官方支持的环境中尝试离线部署；开发者也能更清楚地看到模型开放与服务开放之间的差别。与此同时，若没有KV缓存系统、服务入口与负载均衡，企业仍需自行搭建线上托管能力，承担运维、成本和安全责任。

使用前还应核对许可范围。仓库标注Apache-2.0，但这不自动覆盖DeepSeek品牌、外部模型权重、数据集或其他服务组件的权利。团队应分别查看代码、权重与依赖的许可证，尤其不要把开源框架等同于完整产品授权。

DeepInfer的新闻价值，在于它把“开放推理能力”与“开放生产服务”之间的边界写得相对明确。对媒体与企业读者，最有用的问题不是一句“开源了多少”，而是：哪些代码可检查、哪些环境能运行、缺少什么组件、自己还要承担哪些成本。按这个清单评估，才不会把框架开源误读成端到端服务可以原样复制。

来源

• DeepSeek DeepInfer GitHub repository and README
• DeepSeek V4.1 Flash Inference Deployment Q&A

*配图说明：官方图片、示意图或技术页面截图的转载授权尚未确认，本篇暂不上传配图；获得使用依据后再补。*