跳到正文
原文
vLLM Blog· Inferact and Google Teams·· 20 小时前AI 评分64

vLLM 发布 TorchTPU 后端,可在 Google Cloud TPU 上运行 vLLM 模型

Introducing vLLM TorchTPU

AI 导读

vLLM 发布 vllm-torchtpu 后端,基于 Google 的 TorchTPU 栈在 Google Cloud TPU 上运行 vLLM,多数现有 vLLM 模型无需改动模型代码即可部署。

来源:vLLM Blog · vllm.ai