Mistral AI 复盘 vLLM 内存泄漏排查:从 Heaptrack 到 GDB 定位 UCX 根因
Mistral AI 发布工程深度复盘,记录其在 vLLM 预填充/解码分离部署中排查内存泄漏的过程。问题表现为生产流量下系统内存以每分钟 400 MB 线性增长,最终通过 pmap、BPFtrace 和 GDB 定位到 UCX 的 mmap 钩子机制导致匿名内存区域持续增长。设置 UCX_MEM_MMAP_HOOK_MODE=none 即可解决,相关修复已合并进 vLLM 仓库。
推荐理由:Mistral AI 完整复盘了 vLLM 内存泄漏的排查链路,从 Heaptrack 到 BPFtrace 再到 GDB,读者可复用这套方法论定位依赖层隐藏问题。