热点事件观察中
vLLM在GB300 NVL72上服务DeepSeek-V4.1-Flash
1 篇报道1 个报道来源2 天前更新
先了解这件事
AI 综述
2026年10月23日,vLLM团队公布在单台NVIDIA GB300 NVL72上服务DeepSeek-V4.1-Flash的测试结果。该方案采用P/D分离与Wide-EP架构,在SemiAnalysis AgentX基准上实现每GPU 954K tokens/s的解码吞吐,单用户P90为196 tokens/s,按DeepSeek低谷电价折合每GPU小时38.96美元。团队称其解码吞吐与DeepInfer的差距在6%以内。目前公开信息仅此一篇一手报道,尚无后续进展。
AI 根据报道生成 · 2 小时前更新
最新进展10月23日 08:00
vLLM公布GB300 NVL72上服务DeepSeek-V4.1-Flash结果,解码吞吐与DeepInfer差距6%以内。报道时间线
沿着报道,了解事件的不同侧面。
10月23日
- vLLM BlogvLLM 在 GB300 NVL72 上服务 DeepSeek-V4.1-Flash,解码吞吐与 DeepInfer 差距在 6% 以内
vLLM 团队公布在单台 NVIDIA GB300 NVL72 上以 P/D 分离和 Wide-EP 服务 DeepSeek-V4.1-Flash 的结果,SemiAnalysis AgentX 上每 GPU 954K tokens/s,单用户 P90 为 196 tokens/s,按 DeepSeek 低谷电价折合每 GPU 小时 38.96 美元。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。