Hugging Face Blog·· 8 天前精选AI 评分62
tokenizers v1 发布候选版：编码速度提升 3 至 30 倍
tokenizers v1: encode, decode and scaling, measured
AI 导读
Hugging Face 发布 tokenizers v1 的候选版本，编码路径比 v0.23 快 3 到 30 倍，在 Apple M4 Max 上八线程扩展效率为线性扩展的 76%，且输出 token ID 与旧版完全一致。
推荐理由
原文给出了 v1 相比 v0.23 的编码提速幅度和实现原理，读者可据此判断升级收益与适用场景。
来源：Hugging Face Blog · huggingface.co