Hugging Face Blog·· 5 天前精选AI 评分60
Liquid AI 发布 LFM2.5-VL-DSpark 草稿模型，加速视觉语言模型推理
Accelerating vision-language models with LFM2.5-VL-DSpark
AI 导读
Liquid AI 发布 LFM2.5-VL-3B 的实验性 DSpark 草稿模型，通过投机解码在几乎不增加内存的前提下提升推理速度，解码加速最高达 3.13x（设备端）和 2.66x（H100），端到端提升最高 2.62x 和 2.27x。
推荐理由
原文给出了解码加速倍数、内存开销和三种推理框架的接入方式，读者可据此评估端侧视觉模型的推理收益。
来源：Hugging Face Blog · huggingface.co