vLLM Blog· Inferact and Recursive·· 20 小时前AI 评分58
vLLM 为 Recursive 的 Flint 模型提供 Day-0 支持
Day-0 Support for Flint on vLLM
AI 导读
vLLM 宣布从 Day-0 起支持 Recursive 的 Flint 模型，NVFP4 与 BF16 两个 checkpoint 均可在单 GPU 上运行，单请求在单张 GB200 上、10 万 token 上下文下解码约 500 tokens/s。
来源：vLLM Blog · vllm.ai