跳到正文

数据与训练

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

最新精选

第 21–40 条 · 共 45 条
7月31日周五
  1. Microsoft Research78

    微软 Echoverse:为计算机使用智能体构建深度演化训练环境

    微软研究院发布 Echoverse,一套为计算机使用智能体构建的深度演化训练环境,包含十个深度领域世界和两个能力世界。用全部十二个世界训练后,9B 模型得分从 36.5% 提升到 67.1%,接近 GPT-5.4。实验表明浅层环境会拖累模型,深度环境才能迁移;强化学习相对模仿学习能进一步提升留出集表现。微软开源了其中四个世界及其代码、数据和基于数据库的评分器。

    推荐理由:原文给出了深度合成环境对计算机使用智能体的训练收益,以及浅层环境反而拖累能力的对比证据,可据此判断训练数据质量与规模哪个更关键。

  2. Microsoft Research62

    微软研究院发布 EvoLib 框架,将经验转化为可进化的知识库

    微软研究院发布 EvoLib 框架,让大语言模型在推理过程中从自身经验中学习,无需真值标签或外部反馈,将过往尝试转化为可复用的技能和反思性洞察。EvoLib 通过整合与动态加权机制持续精炼知识,在数学推理、代码编写和长程决策任务上优于顶级检索式记忆方法,且对任务顺序具有鲁棒性。代码和实验结果已在 GitHub 上公开。

    推荐理由:原文给出了将经验转化为可复用知识的具体机制和跨任务评测结果,读者可据此判断这类记忆进化方法相对传统检索记忆的实际收益。

7月23日周四
  1. Google Research60

    Google Research 在 Nature 发表论文:强化学习让量子计算机从错误中学习

    Google Research 在 Nature 发表论文,提出用强化学习框架让自主智能体从量子错误检测中持续学习,动态调控数千个控制参数,在计算过程中稳定量子系统对抗漂移。在 Willow 处理器上,该方法将逻辑稳定性提升 3.5 倍,并在专家校准后进一步将逻辑错误率降低 20%。

    推荐理由:原文展示了强化学习如何让量子计算机在运行中持续校准,读者可借此理解机器学习在量子纠错中的新角色。

7月22日周三
7月21日周二
  1. Hugging Face Blog70

    Hugging Face 发布 Grabette 开源手持采集系统

    Hugging Face 发布 Grabette,一套开源、低成本的机器人操作数据采集系统,手持夹爪配合双摄像头即可记录演示并自动生成 LeRobot 格式数据集,无需机器人或实验室。整套硬件与处理管线全部开源,配套 Gripette 机械夹爪用于训练后执行,目标是推动社区共建大规模操作数据集。

    推荐理由:原文给出了低成本手持采集方案的全套开源硬件与处理流程,读者可据此判断它能否降低机器人数据采集门槛。

7月9日周四
  1. Google Research70

    Google Research 发布 SensorFM,用一万亿分钟可穿戴数据训练通用健康传感器基础模型

    Google Research 发布 SensorFM,一个基于超过一万亿分钟、来自五百万名同意参与者的多模态可穿戴数据预训练的大型传感器基础模型。SensorFM 通过自监督重建学习,可跨心血管、代谢、睡眠和心理健康等任务迁移,在 35 项健康任务中 34 项优于特征工程监督基线。模型还结合了智能体课堂自动构建预测头,并能支撑个人健康智能体的端到端应用。

    推荐理由:原文给出了一万亿分钟级可穿戴数据训练的通用传感器基础模型,读者可据此判断它能否替代单任务健康模型。

7月8日周三
  1. Google Research62

    Google Research 在 Nature Cities 发表城市拥堵缓解实验

    Google Research 在 Nature Cities 发表研究,通过在 10 个美国城市开展为期六个月的切换实验,仅协调不到 2% 的行程改走相似耗时路线,就使目标路段车速中位数提升约 2%,燃油消耗率中位数下降 0.5% 至 1.0%,并估算每城每年可减少数千吨 CO2e 排放。该研究为从个体路线优化走向全网络协同路由提供了实验框架。

    推荐理由:原文给出了首个大规模真实城市路由干预实验的方法与量化结果,读者可据此评估导航平台协调交通的实际收益。

7月7日周二
  1. Berkeley AI Research62

    智能体时代的数据系统:为智能体、由智能体、由智能体合成

    UC Berkeley 团队发文指出,推理成本正以每年约 50 倍的中位数速度下降,智能体即将成为数据系统的主要工作负载。文章提出数据系统面临的三大挑战:为智能体设计(支持智能体式推测查询)、由智能体管理(多智能体共享状态与协调)、由智能体合成(按工作负载自动生成定制数据系统),并展望两者边界将逐渐模糊。

    推荐理由:文章从推理成本骤降出发,梳理了数据系统为智能体服务、由智能体管理、由智能体合成的三条研究路线,适合想把握数据系统与智能体融合方向的人。

7月6日周一
  1. Hugging Face Blog62

    Photoroom 详解 PRX 图像模型的数据策略:从数据源到去重过滤的完整管线

    Photoroom 发布 PRX 系列第四篇博客,详解其图像生成模型 PRX 的预训练数据策略。数据管线混合公开与内部数据集,用 VLM 重写长标题,以 Lance 构建、MDS 流式训练,并采用 JPEG 质量 92 存储、感知哈希去重和基于标题的轻量过滤。作者对比了多个标题生成模型,最终选用 Qwen3-VL-8B,并分享了碎片化、跳过列表等工程经验。

    推荐理由:Photoroom 公开了 PRX 图像模型预训练数据管线的完整设计,从数据源、重写标题到去重过滤,读者可据此复现或改进自己的数据流程。

7月1日周三
  1. Google Research62

    Google Research 发布 50+ 城市建筑级屋顶反照率数据集及 Heat Resilience Earth Engine App

    Google Research 发布覆盖 50+ 城市、9 个国家的建筑级屋顶反照率数据集,并上线 Heat Resilience Earth Engine App 供公众使用。

    推荐理由:原文给出了数据覆盖范围、精度验证和开放入口,读者可以据此判断这类建筑级反照率数据对城市热缓解规划的实际可用性。

6月30日周二
  1. Google Research77

    Google 发布 TabFM:面向表格数据的零样本基础模型

    Google Research 发布 TabFM,一个面向表格数据分类与回归的零样本基础模型,将表格预测重构为上下文学习问题,无需手动训练、调参和特征工程。模型采用交替行列注意力、行压缩和 ICL 混合架构,完全在数亿个合成数据集上训练,在 TabArena 基准上覆盖 38 个分类和 13 个回归数据集。

    推荐理由:原文给出了模型架构、训练方式和在 TabArena 上的评测结果,读者可据此判断零样本表格预测的实际能力。

6月5日周五
  1. Google Research62

    Google 在 Nature 发表论文:用手机前置摄像头实现被动心率监测

    Google Research 在 Nature 发表论文,介绍被动心率监测系统 PHRM,利用手机前置摄像头在面部解锁后拍摄视频,通过深度学习估计心率,MAPE 小于 10%,并估算每日静息心率,MAE 小于 5 bpm,准确度达到可穿戴设备水平。

    推荐理由:原文给出了PHRM系统的技术路线、跨肤色准确率数据和公开数据集,读者可据此评估被动心率监测的可行性与局限。

6月4日周四
  1. Google Research78

    Google 开源水文建模框架,助力 AI 洪水预报落地

    Google Research 在 GitHub 上以 Apache 2.0 协议开源其水文建模框架,该框架基于 PyTorch 和 LSTM 架构,使用 Caravan 数据集训练,可复现 Google Flood Hub 的河流洪水预报能力。新版模型在基准测试中比旧版将可靠预测期延长六天(有水文站流域)和一天(无水文站流域),并已与捷克水文气象研究所合作集成到 Delft-FEWS 平台。

    推荐理由:原文给出了模型架构、训练数据和基准提升,读者可据此评估将 AI 洪水预报接入本地工作流的可行性。

5月28日周四
  1. Google Research60

    Google 提出零信任聚合方案,为端侧 AI 提供隐私保护分析

    Google 研究团队提出一种零信任聚合方案,用于端侧 AI 的隐私保护分析。该方案结合新型格基密码协议与可信执行环境(TEE),支持单次消息提交,无需设备长时间在线,并确保 Google 只能获得匿名聚合结果。Android SafetyCore 将采用该方案评估安全模型效果,同时保证用户内容仅存于设备端。

    推荐理由:原文给出了一种结合密码学与TEE的多层防护设计,读者可据此理解零信任聚合如何兼顾效率与隐私。

5月27日周三
  1. Mistral AI60

    Mistral 推出物理 AI,将 Emmi AI 纳入企业平台

    Mistral 宣布推出物理 AI,将 Emmi AI 纳入其企业解决方案,用于 AI 原生工业工程。物理 AI 从求解器输出中学习,在单张 GPU 上数秒内完成正向预测,适用于航空航天、汽车、半导体、能源等领域,并与 ASML、Airbus、Safran、Siemens Energy 等伙伴合作。传统求解器仍用于验证和边缘情况。

    推荐理由:原文解释了物理 AI 与传统求解器的分工,以及它在产品设计、制造和数字孪生上的加速价值,可据此判断其适用场景。

5月20日周三
  1. Google Research78

    Google 发布科研工具 ERA 并开放 Computational Discovery

    Google 在 Nature 发表论文介绍其科研工具 ERA,该工具基于 Gemini 编写和优化科学代码,采用树搜索在基因组学、公共卫生、卫星影像、神经科学、时序预测和数学等基准上达到专家级表现。

    推荐理由:原文给出了 ERA 在 Nature 的论文、跨学科基准表现以及 Computational Discovery 的开放入口,读者可据此判断它对科研工作流的影响。

5月17日周日
  1. Google DeepMind70

    Google 推出 Gemini for Science 科研工具集与 Science Skills

    Google 推出 Gemini for Science,包含 Hypothesis Generation、Computational Discovery、Literature Insights 三个实验工具,以及集成 30 多个生命科学数据库的 Science Skills,可在 Google Antigravity 上使用。

    推荐理由:原文给出了三个实验工具和 Science Skills 的能力构成与开放入口,读者可据此判断这些工具对科研流程的实际作用。

4月30日周四
  1. Google Research62

    Google 研究科学家用 ERA 的四种方式:从流行病预测到神经回路

    Google 发布博客介绍其研究科学家使用 Empirical Research Assistance(ERA)的四种方式。ERA 是 Google 在 9 月发布的预印本中提出的工具,用于帮助科学家生成专家级实证软件。

    推荐理由:原文展示了 ERA 在流行病预测、宇宙学、气候监测和神经科学四个领域的实际应用,读者可据此评估 AI 辅助科研工具的落地效果。

4月22日周三
  1. Google DeepMind70

    Google DeepMind 发布 Decoupled DiLoCo 架构,实现跨数据中心低带宽容错训练

    Google DeepMind 发布新论文,提出 Decoupled DiLoCo 分布式训练架构,将训练拆分为解耦的计算孤岛,通过异步数据流隔离局部故障,使系统在硬件故障时仍能保持高可用性。实测中,该架构用 2-5 Gbps 带宽在四个美国区域成功训练了 120 亿参数模型,速度比传统同步方法快 20 倍以上,并支持混用 TPU v6e 和 TPU v5p 等不同代际硬件。

    推荐理由:原文给出了跨数据中心训练的新架构及其在带宽、容错和硬件混用上的实测结果,读者可据此评估分布式训练的新路径。

4月16日周四
  1. Google Research62

    Google 研究提出 Simula 框架,用推理优先方法设计合成数据集

    Google Research 在 TMLR 发表论文,提出推理优先的合成数据生成框架 Simula,将数据生成分解为全局多样化、局部多样化、复杂化和质量检查四个可控轴,并引入基于推理的评测指标。

    推荐理由:原文把合成数据生成重构为机制设计问题,并给出可独立控制的四个轴,读者可据此评估这类方法在生产场景的适用边界。