vLLM Blog· Giancarlo Delfin (Inferact)·· 1 天前AI 评分29
vLLM 为无置信头的草稿模型推出自适应验证,在线拟合接受率估计器
Adaptive Verification Without a Confidence Head
AI 导读
vLLM 的自适应验证(AV)现已支持所有基于草稿模型的投机解码类型,不再局限于带置信头的 DSpark。针对 EAGLE、MTP、DFlash 等缺少置信头的草稿模型,vLLM 用在线拟合的逻辑回归从草稿 logits 的 log-odds 特征预测目标模型的接受概率,仅需 K+1 个参数,随服务流量持续拟合。
来源:vLLM Blog · vllm.ai