LiteLLM Blog·· 5 小时前AI 评分28
LiteLLM 用统一 /tokenize 接口打通 vLLM 与 Watsonx 分词
Tokenize text across vLLM and Watsonx
AI 导读
LiteLLM 推出统一 /tokenize 接口,应用只需传入模型名和 prompt,即可同时对接 vLLM 与 Watsonx 的分词能力。响应返回 token 数量、token ID 和 token 文本,其中 vLLM 返回 ID,Watsonx 的 token_ids 为 null。
来源:LiteLLM Blog · docs.litellm.ai