vLLM Blog· Benjamin Chislett (NVIDIA)·· 1 天前AI 评分65
vLLM 如何用智能体辅助优化 Kimi K3 解码性能
Hyper Optimizing Kimi K3 in vLLM: Moving Fast and Responsibly
AI 导读
vLLM 团队用智能体辅助开发为 Kimi K3 构建统一的 CuTe DSL 解码路径,在 16 张 NVIDIA GB300 上 batch 1 达到 842 tokens/s,比原生 vLLM 快 1.73 倍。
来源:vLLM Blog · vllm.ai