热点事件持续更新
vLLM 推出基于推送的 KV 传输优化分离式推理
1 篇报道1 个报道来源19 小时前更新
先了解这件事
AI 综述
2026 年 10 月 14 日，vLLM 在官方博客发布基于 push 模式的 KV 传输方案，用于解耦式 P-D（预填充-解码）推理。该方案为 NIXL connector 新增 push 模式，把 KV 传输的协调与建连从首 token 关键路径上移走。在 Amazon EC2 P5en 1P1D 集群（EFA 互联）上运行 Qwen3-32B 的测试中，push 模式相比默认 pull 模式，TTFT 最高提升 3 倍，TPOT 最高提升 30%。这是该事件目前唯一一篇报道，尚无后续进展或与早先报道不一致之处。
AI 根据报道生成 · 2 小时前更新
最新进展10月14日 08:00
vLLM 发布 push 模式 NIXL connector，解耦推理 TTFT 最高提升 3 倍。报道时间线
沿着报道，了解事件的不同侧面。
10月14日
- vLLM BlogvLLM 推出基于 push 的 KV 传输，解耦推理 TTFT 最高提升 3 倍
vLLM 为解耦式 P-D 推理新增 push 模式的 NIXL connector，把 KV 传输的协调与建连从首 token 关键路径上移走。在 Amazon EC2 P5en 1P1D 集群（EFA 互联）上跑 Qwen3-32B，push 模式相比默认 pull 模式 TTFT 最高提升 3 倍、TPOT 最高提升 30%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。