vLLM Blog· Ant Group and the vLLM Community·· 6 小时前AI 评分64
蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming
Announcing Humming: Fast, Flexible Kernels for Quantized Inference
AI 导读
蚂蚁集团与 vLLM 社区开源通用高性能量化推理内核库 Humming，支持 Turing 之后的 NVIDIA GPU 架构以及平头哥镇岳 810E 等 CUDA 兼容设备。
来源：vLLM Blog · vllm.ai