跳到正文
原文
vLLM Blog· Giancarlo Delfin (Inferact)·· 1 天前AI 评分29

vLLM 为无置信头的草稿模型推出自适应验证,在线拟合接受率估计器

Adaptive Verification Without a Confidence Head

AI 导读

vLLM 的自适应验证(AV)现已支持所有基于草稿模型的投机解码类型,不再局限于带置信头的 DSpark。针对 EAGLE、MTP、DFlash 等缺少置信头的草稿模型,vLLM 用在线拟合的逻辑回归从草稿 logits 的 log-odds 特征预测目标模型的接受概率,仅需 K+1 个参数,随服务流量持续拟合。

来源:vLLM Blog · vllm.ai