vLLM Blog· Inferact and the vLLM Team·· 7 天前精选AI 评分80
vLLM 为 Kimi K3.1 Pro 提供 Day-0 支持
vLLM Delivers Day-0 Support for Kimi K3.1 Pro
AI 导读
vLLM 在 NVIDIA、AMD、Google TPU 和阿里平头哥 PPU 上为月之暗面开源的 Kimi K3.1 Pro 提供 Day-0 支持。K3.1 Pro 是 2.8T 参数(104B 激活)的多模态 MoE,上下文 1M token,在全部 24 个全注意力层加入 DSA 稀疏注意力,长上下文解码每层读取字节约为稠密 MLA 的四分之一。
推荐理由
原文给出 K3.1 Pro 稀疏注意力在 vLLM 上的多硬件适配细节与实测吞吐,可据此判断长上下文服务的部署取舍。
来源:vLLM Blog · vllm.ai