OpenRouter Blog·· 17 天前精选AI 评分62
Jev 在分类任务上能否达到前沿模型的准确率？
Is Jev as Accurate as Frontier Models at Classification?
AI 导读
OpenRouter 用 Banking77 的 3,080 条客服语句对比 TypeSafe 的 Jev 1.13 与 Claude Opus 5，Jev 准确率 81.0%，落后 Opus 的 84.4% 约 3.3 个百分点，但中位延迟 175 ms 对 2,266 ms，每千次请求成本 $0.11 对 $2.42。
推荐理由
用同一数据集对比小模型与前沿模型的准确率、延迟和成本，并给出按置信度级联的取舍方法。
来源：OpenRouter Blog · openrouter.ai