跳到正文
热点事件持续更新

AMD MI355X 上优化 Kimi K3 推理性能

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

AMD 与 Embedded LLM 在 vLLM 博客中介绍了 Kimi K3 在八卡 AMD Instinct MI355X 上的推理优化工作。据该报道,在 AgentX 基准、50 tokens/s/user 的 P90 交互性条件下,其吞吐表现超过 NVIDIA HGX B300 达 24.4%,达到约 7(原文数字未完整给出)。这是目前关于该事件的最新进展,此前版本尚无更多细节可补充。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月16日
  1. vLLM Blog
    AMD 详解 Kimi K3 在 Instinct MI355X 上的推理优化:AgentX 吞吐超 NVIDIA HGX B300 24.4%

    AMD 与 Embedded LLM 在 vLLM 博客中介绍 Kimi K3 在八卡 AMD Instinct MI355X 上的推理优化,在 AgentX 基准 50 tokens/s/user P90 交互性下达到约 7。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。