跳到正文
热点事件持续更新

vLLM Elastic EP 实现近零停机扩缩容

1 篇报道1 个报道来源22 小时前更新

先了解这件事

AI 综述

2026年10月19日,vLLM 官方博客发布消息称,vLLM 通过异步准备与 NIXL EP,显著降低了 Elastic EP 扩缩容的停机时间。报道给出的数据是:DeepSeek V4 Pro 在 GB200 上从 16 个 GPU 扩展到 20 个 GPU 时,停机时间从 99.62 秒降至 0.82 秒;缩回 16 个 GPU 时,停机时间从 56.25 秒降至 1.96 秒。该报道为目前唯一来源,未提及此前版本的具体说法,也未说明测试环境细节与适用范围。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月19日
  1. vLLM Blog
    vLLM 用 NIXL EP 将 Elastic EP 扩缩容停机降至近零

    vLLM 通过异步准备与 NIXL EP,把 DeepSeek V4 Pro 在 GB200 上从 16 扩到 20 GPU 的停机时间从 99.62 秒降到 0.82 秒,缩回 16 GPU 从 56.25 秒降到 1.96 秒。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。