跳到正文

#部署/工程

今日 0 条
9月24日周四
  1. Hugging Face Blog60

    Liquid AI 发布 LFM2.5-VL-DSpark 草稿模型,加速视觉语言模型推理

    Liquid AI 发布 LFM2.5-VL-3B 的实验性 DSpark 草稿模型,通过投机解码在几乎不增加内存的前提下提升推理速度,解码加速最高达 3.13x(设备端)和 2.66x(H100),端到端提升最高 2.62x 和 2.27x。

    推荐理由:原文给出了解码加速倍数、内存开销和三种推理框架的接入方式,读者可据此评估端侧视觉模型的推理收益。

9月3日周四
8月21日周五
  1. Hugging Face Blog62

    Liquid AI 发布 LFM2.5-DSpark 草稿模型,推理速度最高提升 3.18 倍

    Liquid AI 发布 LFM2.5 系列三款模型的 DSpark 草稿模型检查点,通过投机解码在 GPU 上实现最高 3.18 倍吞吐提升,端侧最高 2.87 倍,且不改变输出质量。LFM2.5-2.6B 的函数调用延迟平均降低 57%,并已开源支持 llama.cpp 和 SGLang。

    推荐理由:原文给出了三款草稿模型的加速数据和接入方式,读者可据此评估投机解码带来的实际收益。