跳到正文
原文
LiteLLM Blog·· 5 小时前AI 评分28

LiteLLM 用统一 /tokenize 接口打通 vLLM 与 Watsonx 分词

Tokenize text across vLLM and Watsonx

AI 导读

LiteLLM 推出统一 /tokenize 接口,应用只需传入模型名和 prompt,即可同时对接 vLLM 与 Watsonx 的分词能力。响应返回 token 数量、token ID 和 token 文本,其中 vLLM 返回 ID,Watsonx 的 token_ids 为 null。

来源:LiteLLM Blog · docs.litellm.ai