vLLM Blog· vLLM Team·· 22 小时前AI 评分58
vLLM 团队详解 GLM-5.3 在 16 张 H200 上的 PCP、DCP 与 Hybrid HiSparse 优化
GLM-5.3 Optimizations, Part 2: PCP, DCP, and Hybrid HiSparse on 16 H200s
AI 导读
vLLM 团队在 16 张 H200 上以 1 个 prefill 节点加 1 个 decode 节点的分离部署运行 GLM-5.3,用 PCP 按 token 切分 prompt、用 DCP 按 token 切分 KV cache,使 1M 上下文可服务。
来源:vLLM Blog · vllm.ai