LiteLLM 推出自托管模型缓存感知路由

2026年10月20日，LiteLLM 在官方博客宣布为自托管模型推出缓存感知路由功能，面向 Kubernetes 上的自托管推理场景。该功能将同一会话的请求固定发往同一个 GPU pod，使 vLLM 能够复用跨轮次的提示词前缀缓存。实现方式上，它通过 Kubernetes headless Service 发现 pod IP，并以会话 ID 做 rendezvous hashing 选出目标 pod 后直连。官方同时发布了配置指南。目前该功能处于官方发布与文档说明阶段，报道未提及更早的版本或后续部署反馈。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。