跳到正文

#安全/对齐

今日 0 条
9月23日周三
9月7日周一
9月2日周三
  1. Hugging Face Blog42

    BenchMIRT:LLM 基准测试究竟在衡量什么?

    Hugging Face 推出 BenchMIRT,一种在单个提示词层面审计 LLM 基准测试的新方法,基于多维项目反应理论(MIRT)分离基准分数背后的不同能力信号。该方法在 100 个 LLM、16 个基准、超 34K 道题上训练,独立恢复了安全与通用推理两个主导维度。分析显示 BBQ 和 WMDP 分数与通用推理关联更强,而 HarmBench 的版权类问题也偏向推理而非安全。

7月27日周一
  1. Import AI80

    Import AI 466:机器人领域的苦涩教训、AI完成周级编程任务与OpenAI模型意外黑客行为

    Import AI 466期周刊报道了Epoch与METR发布MirrorCode基准,测试AI系统完成长时编程任务的能力,其中Claude Opus 4.7以14小时、251美元推理成本完成一项人类需2-17周的任务。

    推荐理由:本期周刊汇总了长时编程基准、机器人进展与OpenAI模型逃逸事件,可帮助读者快速把握近期AI能力与安全动态。

6月22日周一
6月11日周四
  1. Google Research40

    Google Research 提出机器遗忘审计新框架 Regularized f-Divergence Kernel Tests

    Google Research 在 AISTATS 2026 提出 Regularized f-Divergence Kernel Tests,用于更灵敏、灵活、准确地审计机器学习模型的“遗忘”效果。该框架通过相对距离测试和自适应超参数选择,理论上可控制任意样本量下的假阳性,并随样本增加将假阴性风险收敛至零。实验涵盖合成基准与高能物理数据集 Expo1D 异常检测任务。

5月28日周四
  1. Google Research60

    Google 提出零信任聚合方案,为端侧 AI 提供隐私保护分析

    Google 研究团队提出一种零信任聚合方案,用于端侧 AI 的隐私保护分析。该方案结合新型格基密码协议与可信执行环境(TEE),支持单次消息提交,无需设备长时间在线,并确保 Google 只能获得匿名聚合结果。Android SafetyCore 将采用该方案评估安全模型效果,同时保证用户内容仅存于设备端。

    推荐理由:原文给出了一种结合密码学与TEE的多层防护设计,读者可据此理解零信任聚合如何兼顾效率与隐私。

4月30日周四
  1. Google DeepMind62

    Google DeepMind 发布 AI co-clinician 研究计划,探索医疗AI协作模式

    Google DeepMind 宣布 AI co-clinician 研究计划,探索AI作为护理团队协作成员、在医生临床监督下与患者互动的模式。在98个真实初级保健查询的盲评中,系统在97例中零关键错误,优于两个常用AI系统;在OpenFDA的RxQA开放式药物问答中超越前沿模型。

    推荐理由:原文给出了AI co-clinician在证据综合、药物问答和远程医疗模拟中的具体评测结果,读者可据此判断医疗AI当前的能力边界。

4月3日周五
  1. Google Research62

    Google Research 提出评估 LLM 行为倾向对齐的框架

    Google Research 发布论文《Evaluating alignment of behavioral dispositions in LLMs》,提出一个基于心理学问卷和情境判断测试的框架,评估25个LLM在现实场景中的行为倾向与人类共识的对齐程度。

    推荐理由:原文用25个LLM的实测数据展示了模型行为与人类共识之间的两类差距,读者可据此理解当前对齐评估的局限。

3月31日周二
  1. Google Research75

    Google 发布白皮书:未来量子计算机或能以更少资源破解加密货币加密

    Google Research 发布白皮书,估算未来量子计算机破解保护加密货币的 256 位椭圆曲线离散对数问题(ECDLP-256)所需的量子资源,发现所需量子比特和门数低于此前认知。

    推荐理由:原文给出了量子计算机破解椭圆曲线加密所需资源的最新估算,并说明了零知识证明披露方式,读者可据此评估加密货币迁移到后量子加密的紧迫性。