评测来源官方评测
Harvey Legal Agent Benchmark
Vals AI / Harvey / 专业办公 · 处理法律资料并交付 Word、Excel、幻灯片等可审阅文件。
在 openhot 中观察中
证据预算不计分
上游数据时间待核实
最近成功同步尚未开始采集
它测什么,怎么测
固定 Harvey 私有测试集、六项文件工具和 docx、xlsx、pptx 技能,禁用互联网;采用两名裁判的整任务通过率均值,不使用单项条件通过率替代。Fable 5 含 Opus 4.8 回退的 11.25% 不能归给单模型;官方另列无回退 10.42%,须按统一配置政策审查。
如何使用这份证据
观察中:优先补充完整法律工作证据;稳定成绩导出、配置和再展示边界待落实,当前仅收录来源,不自动采集或计分。
评测局限与数据署名
模型回退和裁判条件影响可比性;约 90% 的单项条件通过率不等于整项工作完成。同属 Vals 的多个专项不能当作多家独立机构,也不能按榜单数量增加总权重。
数据许可:官方公开成绩可供查阅;Harvey 开源题库和代码许可不自动覆盖 Vals 私有测试成绩,榜单数据再展示边界待确认。
成绩由 Vals AI / Harvey 发布,原始分数与 openhot 共识分使用不同尺度,不能直接相加。