跳到正文
原文
vLLM Blog· AMD and Embedded LLM·· 4 小时前AI 评分62

AMD 详解 Kimi K3 在 Instinct MI355X 上的推理优化:AgentX 吞吐超 NVIDIA HGX B300 24.4%

Scaling Kimi K3 on AMD Instinct MI355X: Matching NVIDIA HGX B300 Throughput per GPU on AgentX

AI 导读

AMD 与 Embedded LLM 在 vLLM 博客中介绍 Kimi K3 在八卡 AMD Instinct MI355X 上的推理优化,在 AgentX 基准 50 tokens/s/user P90 交互性下达到约 7。

来源:vLLM Blog · vllm.ai