跳到正文
原文
vLLM Blog· Benjamin Chislett (NVIDIA)·· 1 天前AI 评分65

vLLM 如何用智能体辅助优化 Kimi K3 解码性能

Hyper Optimizing Kimi K3 in vLLM: Moving Fast and Responsibly

AI 导读

vLLM 团队用智能体辅助开发为 Kimi K3 构建统一的 CuTe DSL 解码路径,在 16 张 NVIDIA GB300 上 batch 1 达到 842 tokens/s,比原生 vLLM 快 1.73 倍。

来源:vLLM Blog · vllm.ai