跳到正文

NVIDIA 英伟达

英伟达的 AI 芯片与生态动态:GPU 新品、CUDA 生态、机器人平台与 AI 算力市场的风向。

最新精选

第 41–41 条 · 共 41 条
7月22日周三
  1. vLLM Blog76

    vLLM 预览生产级 Kimi K3 支持

    vLLM 发布博客,预览为 Moonshot AI 的 Kimi K3 提供的 day-0 开源推理支持,涵盖模型实现、Docker 镜像、部署配方与生产验证。

    推荐理由:原文披露了 vLLM 为 Kimi K3 做的 KDA 前缀缓存改造与内核优化细节,可了解混合注意力模型的推理适配难点。