跳到正文
原文
vLLM Blog· Inferact and the vLLM Team·· 2 天前AI 评分52

vLLM 在 GB300 NVL72 上服务 DeepSeek-V4.1-Flash,解码吞吐与 DeepInfer 差距在 6% 以内

Serving DeepSeek-V4.1-Flash at Scale: vLLM Matches DeepInfer and Scales to GB300 NVL72

AI 导读

vLLM 团队公布在单台 NVIDIA GB300 NVL72 上以 P/D 分离和 Wide-EP 服务 DeepSeek-V4.1-Flash 的结果,SemiAnalysis AgentX 上每 GPU 954K tokens/s,单用户 P90 为 196 tokens/s,按 DeepSeek 低谷电价折合每 GPU 小时 38.96 美元。

来源:vLLM Blog · vllm.ai