vLLM Blog· Sunita Nadampalli (AWS), Nicolò Lucchesi (Mistral)·· 20 小时前AI 评分36
vLLM 推出基于 push 的 KV 传输，解耦推理 TTFT 最高提升 3 倍
Push-Based KV Transfer to Improve TTFT and TPOT for Disaggregated Inference in vLLM
AI 导读
vLLM 为解耦式 P-D 推理新增 push 模式的 NIXL connector，把 KV 传输的协调与建连从首 token 关键路径上移走。在 Amazon EC2 P5en 1P1D 集群（EFA 互联）上跑 Qwen3-32B，push 模式相比默认 pull 模式 TTFT 最高提升 3 倍、TPOT 最高提升 30%。
来源：vLLM Blog · vllm.ai