跳到正文

安全对齐

AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架的进展。

最新精选

第 61–66 条 · 共 66 条
6月16日周二
  1. Google DeepMind62

    Google DeepMind 发布 AI Control Roadmap,以系统级安全守护内部智能体

    Google DeepMind 发布 AI Control Roadmap,在传统对齐之外增加系统级安全层,将内部智能体视为潜在未对齐对象,通过威胁建模、监督与分级响应提供保障。团队已分析百万条编码智能体轨迹,并据此为 Gemini Spark 智能体构建实时监控,多数标记事件源于智能体误解而非恶意意图。

    推荐理由:原文给出了威胁建模、分级响应和百万轨迹实测,读者可据此理解系统级安全如何补足对齐的局限。

5月28日周四
  1. Google Research60

    Google 提出零信任聚合方案,为端侧 AI 提供隐私保护分析

    Google 研究团队提出一种零信任聚合方案,用于端侧 AI 的隐私保护分析。该方案结合新型格基密码协议与可信执行环境(TEE),支持单次消息提交,无需设备长时间在线,并确保 Google 只能获得匿名聚合结果。Android SafetyCore 将采用该方案评估安全模型效果,同时保证用户内容仅存于设备端。

    推荐理由:原文给出了一种结合密码学与TEE的多层防护设计,读者可据此理解零信任聚合如何兼顾效率与隐私。

4月30日周四
  1. Google DeepMind62

    Google DeepMind 发布 AI co-clinician 研究计划,探索医疗AI协作模式

    Google DeepMind 宣布 AI co-clinician 研究计划,探索AI作为护理团队协作成员、在医生临床监督下与患者互动的模式。在98个真实初级保健查询的盲评中,系统在97例中零关键错误,优于两个常用AI系统;在OpenFDA的RxQA开放式药物问答中超越前沿模型。

    推荐理由:原文给出了AI co-clinician在证据综合、药物问答和远程医疗模拟中的具体评测结果,读者可据此判断医疗AI当前的能力边界。

4月3日周五
  1. Google Research62

    Google Research 提出评估 LLM 行为倾向对齐的框架

    Google Research 发布论文《Evaluating alignment of behavioral dispositions in LLMs》,提出一个基于心理学问卷和情境判断测试的框架,评估25个LLM在现实场景中的行为倾向与人类共识的对齐程度。

    推荐理由:原文用25个LLM的实测数据展示了模型行为与人类共识之间的两类差距,读者可据此理解当前对齐评估的局限。

3月31日周二
  1. Google Research75

    Google 发布白皮书:未来量子计算机或能以更少资源破解加密货币加密

    Google Research 发布白皮书,估算未来量子计算机破解保护加密货币的 256 位椭圆曲线离散对数问题(ECDLP-256)所需的量子资源,发现所需量子比特和门数低于此前认知。

    推荐理由:原文给出了量子计算机破解椭圆曲线加密所需资源的最新估算,并说明了零知识证明披露方式,读者可据此评估加密货币迁移到后量子加密的紧迫性。

3月14日周四
  1. Cloudflare Blog · AI Gateway62

    Cloudflare 修复 AI 产品中的 token 长度侧信道攻击

    Cloudflare 与 Ben Gurion 大学研究者协作,修复了影响 LLM 提供商的 token 长度侧信道漏洞,该攻击可通过流式响应的网络包长度推断 token 序列,研究者称理想条件下可重建 29% 的响应并推断 55% 的主题。

    推荐理由:Cloudflare 披露与研究者协作修复 LLM 流式 token 长度侧信道漏洞的过程,并给出随机填充的具体实现。