vLLM 新增双向 KV 传输，多轮智能体负载 TTFT 最高降低 3.3 倍

vLLM 引入双向 KV 传输机制，让 decode 节点在后续轮次把已计算的 KV 返回 prefill 节点复用，避免重复计算不断增长的对话上下文。在 Amazon EC2 P5en 加 EFA 的 1P1D 部署上，该功能使 Qwen3-32B 的 TTFT 最高降低 1.6 倍，zai-org/GLM-5-FP8 最高降低 3.3 倍。