vLLM Blog· Ao Shen (Inferact), Jian Hu (NVIDIA Research), Yan Bai (NVIDIA DevTech), Shekhar Pandey (AMD), and the REINFORCE Zero authors·· 5 天前AI 评分72
REINFORCE Zero：内核对齐让异步 RL 在 lag 64 下稳定训练
Zero Mismatch, Simple Async RL: REINFORCE Zero, DeepSeek-V4.1 and Kimi K3.1
AI 导读
NVIDIA Research 与 Inferact 提出 REINFORCE Zero，把异步 RL 中 rollout 与训练器的 logprob 差距拆成权重滞后和内核不一致两项，先对齐内核再用不裁剪的 token 级重要性采样修正权重滞后。
来源：vLLM Blog · vllm.ai