LiteLLM 为自托管模型推出缓存感知路由

LiteLLM 新增面向 Kubernetes 自托管推理的缓存感知路由，同一会话的请求会被固定发往同一个 GPU pod，让 vLLM 复用跨轮次的提示词前缀缓存。该功能通过 Kubernetes headless Service 发现 pod IP，并用会话 ID 做 rendezvous hashing 选 pod 后直连。官方已发布配置指南。