跳到正文
原文
Hugging Face Blog·· 14 小时前精选AI 评分65

PyTorch 2.15 为 Mac MPS 后端带来 FP8 与更快的 LLM 解码

MPS in PyTorch 2.15

AI 导读

PyTorch 2.15 在 MPS 后端加入 FP8 张量支持和原生 grouped matmul,MoE 模型解码速度比 2.14 提升 5–6.5 倍。

推荐理由

原文列出 MPS 后端在 FP8、MoE 解码和显存占用上的具体改动与实测数字,可据此判断 Mac 本地跑模型的可行边界。

来源:Hugging Face Blog · huggingface.co