vLLM Blog· Inferact and Google Teams·· 20 小时前AI 评分64
vLLM 发布 TorchTPU 后端,可在 Google Cloud TPU 上运行 vLLM 模型
Introducing vLLM TorchTPU
AI 导读
vLLM 发布 vllm-torchtpu 后端,基于 Google 的 TorchTPU 栈在 Google Cloud TPU 上运行 vLLM,多数现有 vLLM 模型无需改动模型代码即可部署。
来源:vLLM Blog · vllm.ai