跳到正文
原文
vLLM Blog· vLLM Team·· 22 小时前AI 评分58

vLLM 团队详解 GLM-5.3 在 16 张 H200 上的 PCP、DCP 与 Hybrid HiSparse 优化

GLM-5.3 Optimizations, Part 2: PCP, DCP, and Hybrid HiSparse on 16 H200s

AI 导读

vLLM 团队在 16 张 H200 上以 1 个 prefill 节点加 1 个 decode 节点的分离部署运行 GLM-5.3,用 PCP 按 token 切分 prompt、用 DCP 按 token 切分 KV cache,使 1M 上下文可服务。

来源:vLLM Blog · vllm.ai