vLLM Blog· the Kinference Team·· 7 天前AI 评分74
Buoyant 开源 Kinference：面向 vLLM 与 Kubernetes 的推理控制平面
Introducing Kinference: An Open Source Inference Control Plane for vLLM and Kubernetes
AI 导读
Buoyant 发布开源项目 Kinference，作为 vLLM 与 Kubernetes 之上的推理控制平面，提供 token 限流、租户用量与成本追踪、智能负载均衡和推理策略。
来源：vLLM Blog · vllm.ai