DeepSeek开源真香，vLLM/SGLang连夜性能反超，推理速度卷出新高度 - 英雄联盟战术
DeepSeek开源成果显著，vLLM与SGLang迅速实现性能反超，推理速度竞争再创新高。
果然还是“源神”DeepSeek厉害！自家推理引擎DeepInfer发布不到一周，开源社区已迅速响应，纷纷交出优化成果。
这真是一鲸“落”万物生，首批开源效果已亮相：立志学习DeepSeek、成为DeepSeek、超越DeepSeek。
vLLM和SGLang等成熟推理框架率先获得T0级升级，在各自测试配置下，性能已接近甚至部分超越DeepInfer。
不错不错！DeepInfer最初基于vLLM构建，设计也借鉴了SGLang思路。如今DeepSeek公开优化后的实现，两家接着吸收、继续改进，真正把开源玩出了花样。
此外，受DeepInfer启发的开发者个人项目陆续上线，涵盖硬件适配、推理加速和部署优化等不同方向，但效果出奇一致：都更强了！
DeepInfer一开源，社区立刻热闹起来。推理竞速进入白热化阶段，好戏正式上演。
开源社区玩转DeepInfer
先看vLLM。这次交出的成绩，已从“追平DeepInfer”扩展到整机架部署。通过集成DeepSeek开源内核，并对预填充和解码阶段进行大量优化，vLLM的性能曲线已与DeepInfer持平。
在相同解码配置（131K上下文、每轮3个草稿token）下，vLLM使用GB200测得的吞吐量，在批大小为8到256的范围内，与DeepInfer差距仅为6%。预填充方面，新增token的吞吐量提升了35.6%至43.9%。
将部署规模拉升至NVIDIA GB300 NVL72机架后，配合预填充与解码分离、扩大专家并行，vLLM在SemiAnalysis AgentX测试中的每卡吞吐高达95.4万tokens/s，是此前单节点结果的7.9倍。
同一个DeepSeek，竟然还能被他们继续挤出速度。这些提升如何实现？团队几乎不放过每一个细节。
例如，处理输入时，稀疏注意力需从一批候选中筛选出值得关注的内容，涉及top-k选择。此前路径会先将DeepGEMM输出的BF16分数转换为FP32，再进行筛选。新实现则直接让DeepSelect处理BF16数据，省去中间转换步骤。这一看似微小的改动，在对应算子测试中，使top-k处理速度达到原来的约3.7倍。
vLLM团队还自行改进了CPU通信方式，采用递归倍增等方法交换信息，减少同步轮次。针对Agent常用的小批量解码，vLLM也单独支持DSpark草稿生成，并使用完整CUDA Graph执行专用解码路径。
SGLang紧接着交出的答卷更进一步，覆盖了输入和输出两个阶段。SGLang分别在4张B300、4张GB300上测试预填充，最高吞吐比DeepInfer高出约4%。解码测试时，同样使用64张GB300：每卡256个请求时，DeepInfer每步耗时31.19毫秒，SGLang为28.88毫秒，单步时间缩短约7.4%；每卡8个请求时，两者基本持平。
具体操作中，SGLang先集成了Mega内核（MegaMoE、MegaAttention、Mega-mHC、MegaGate）、SWA有界重放以及Engram优化，达到对标DeepInfer的性能后，再继续迭代，引入更多内核融合方案。随后通过支持可拆分CUDA图，实现高效预填充。最终对比DeepInfer开源版本，SGLang更为完整，额外补充了关键服务组件，包括KV缓存系统、预填充/解码分离架构以及负载均衡模块。
值得一提的是，SGLang为更严谨对比，还在GB300和B300上重新运行了DeepInfer。结果发现，DeepInfer部分配置的吞吐比原先公布成绩还高。原来DeepSeek给出的测试成绩相当实在！
推理加速循环
开发者Eric Zhang则将玩法向前推进。他此前一直在开发用于搭建大模型推理引擎的实验性积木库——Resin。该库将多个模型都会用到的部分做成公共底座，如调度器、KV缓存管理等，由用户自行补充特定模型和硬件需要的计算实现，即可组合出独立引擎。
Eric表示，最近一周受DeepInfer启发，成功让不少功能和并行机制运行起来。测试显示，在DeepSeek-V4.1-Flash上，Resin的性能与DeepInfer相差约5%至10%，同时具备HTTP服务、前缀缓存和指标等功能。
接着，他为这个底座配置了一个Skill，任务是教会AI如何基于Resin实现模型，再让Codex通宵运行。据他披露，Agent完成了支持MTP的GLM-5.3-Flash引擎；在B200、EP4配置下，输入吞吐最高达6万tokens/s，输出吞吐最高达1.6万tokens/s。
而且！Resin依旧开源。令人感动，这开源盛世如你所愿。DeepInfer从开源中来，又回归开源。成熟框架继续集成和优化，个人开发者也能吸收其设计，接力开源。在英雄联盟下注分析领域，这种开源精神同样值得借鉴。
因此，DeepSeek真正领悟了可持续开源的真谛。
本文来自微信公众号“量子位”，作者：关注前沿科技，36氪经授权发布。
发表评论