跳到正文
原文
LiteLLM Blog·· 18 小时前AI 评分40

LiteLLM 调整 Rust 迁移路线,优先加速 /v1/messages 请求

The Rust migration has rerouted

AI 导读

LiteLLM 调整 Rust 迁移路线,优先把 /v1/messages 请求接入原生支持 Anthropic 风格 API 的供应商,目标在 12 月 1 日前让常见配置下这类请求延迟降低约 20 倍,单请求延迟约 1.5 毫秒。

来源:LiteLLM Blog · docs.litellm.ai