vLLM Blog· Itay Alroy (NVIDIA)·· 1 天前AI 评分64
vLLM 用 NIXL EP 将 Elastic EP 扩缩容停机降至近零
Achieving near-zero-downtime scaling in Elastic Expert Parallelism
AI 导读
vLLM 通过异步准备与 NIXL EP，把 DeepSeek V4 Pro 在 GB200 上从 16 扩到 20 GPU 的停机时间从 99.62 秒降到 0.82 秒，缩回 16 GPU 从 56.25 秒降到 1.96 秒。
来源：vLLM Blog · vllm.ai