热点事件持续更新
vLLM 双向 KV 传输优化多轮 Agent TTFT
1 篇报道1 个报道来源21 小时前更新
先了解这件事
AI 综述
2026 年 10 月 12 日，vLLM 官方博客发布消息，介绍 vLLM 新增双向 KV 传输机制。该机制让 decode 节点在后续轮次把已计算的 KV 返回 prefill 节点复用，从而避免重复计算不断增长的对话上下文。在 Amazon EC2 P5en 加 EFA 的 1P1D 部署上，该功能使 Qwen3-32B 的 TTFT 最高降低 1.6 倍，zai-org/GLM-5-FP8 最高降低 3.3 倍。这是该事件目前唯一一篇报道，尚无后续进展或与早先报道不一致之处。
AI 根据报道生成 · 1 小时前更新
最新进展10月12日 08:00
vLLM 新增双向 KV 传输，多轮 Agent 负载 TTFT 最高降低 3.3 倍。报道时间线
沿着报道，了解事件的不同侧面。
10月12日
- vLLM BlogvLLM 新增双向 KV 传输，多轮智能体负载 TTFT 最高降低 3.3 倍
vLLM 引入双向 KV 传输机制，让 decode 节点在后续轮次把已计算的 KV 返回 prefill 节点复用，避免重复计算不断增长的对话上下文。在 Amazon EC2 P5en 加 EFA 的 1P1D 部署上，该功能使 Qwen3-32B 的 TTFT 最高降低 1.6 倍，zai-org/GLM-5-FP8 最高降低 3.3 倍。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。