跳到正文

数据与训练

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

最新精选

第 1–20 条 · 共 44 条
9月24日周四
  1. NVIDIA Blog75

    NVIDIA 联合 Google DeepMind 等机构发布 2800 多种病毒蛋白复合物 3D 结构开放数据集

    NVIDIA 联合 Google DeepMind、EMBL-EBI 等机构,通过 AlphaFold Database 开放了 2800 多种病毒的蛋白复合物预测 3D 结构,供全球任何科学家使用。

    推荐理由:原文给出了数据集规模、开放入口和可复用的推理流程,读者可据此评估它对病毒研究和疫情准备的实际价值。

9月21日周一
  1. Microsoft Research62

    微软发布逆合成预测模型 RetroChimera,论文发表于 Nature

    微软研究团队在 Nature 发表逆合成预测模型 RetroChimera,结合 Transformer 模型 R-SMILES 2 与图神经网络模型 NeuralLoc,通过学习排序整合两者预测。盲测中博士级化学家更偏好其单步反应预测,多步合成路线在十个挑战性目标中成功九个。模型已开源(MIT 许可),并可通过 Microsoft Foundry 访问。

    推荐理由:原文给出了模型架构、开源信息和专家盲测结果,读者可据此判断它在逆合成预测上的实际表现。

9月16日周三
9月8日周二
  1. Google DeepMind83

    Google DeepMind 发布 AlphaGenome Atlas,预测人类基因组全部单核苷酸变异影响

    Google DeepMind 发布 AlphaGenome Atlas 平台,包含人类基因组中 90 亿个单核苷酸变异的分子效应预测,并推出 AVI 评分用于快速排序变异影响。该平台以 1PB 数据集形式提供,面向学术研究免费开放,可通过网站门户、AlphaGenome API 及 Google Antigravity 技能访问,商业用途即将在 Google Cloud 上线。

    推荐理由:原文给出了覆盖全基因组 90 亿单核苷酸变异的预测平台及其开放入口,读者可据此判断它在罕见病和复杂性状研究中的可用范围。

9月4日周五
  1. Google Research62

    Google 与 HHMI Janelia 发布完整雄性果蝇脑图谱

    Google Research 与 HHMI Janelia 等合作方在 Cell 发表论文,发布完整雄性果蝇脑与中枢神经系统连接组图谱,含超过 166,000 个神经元和 1.25 亿个突触连接,是迄今神经元数量最大的脑图谱。该图谱经人工校验,可通过开源工具 Neuroglancer 查看和下载,并与雌性果蝇图谱互补,用于研究两性差异及个体间变异性。

    推荐理由:原文给出了迄今最大的脑图谱及其开放下载入口,读者可据此了解连接组学方法的最新进展。

9月3日周四
  1. Hugging Face Blog62

    用100步GRPO微调350M模型,IFStruct结构化输出从22.6%提升至29.7%

    Hugging Face 发布公开教程,用 TRL 库对 LFM2.5-350M 做约500样本、100步的 GRPO 微调,在 IFStruct 基准上从22.6%提升至29.7%,其中 JSON 通过率从18.0%升至31.9%。整套流程可在免费版 Colab 或 Kaggle GPU 上运行,评估可在 MacBook 上通过 llama.cpp 完成,代码已开源在 GitHub。

    推荐理由:给出了一套约500样本、100步的轻量GRPO微调配方,读者可据此低成本提升小模型的结构化输出合规率。

9月2日周三
  1. Google Research62

    Google 与 NASA JPL 发布 MAPL-EMIT:用深度学习从太空绘制全球甲烷排放

    Google Research 与 NASA JPL 合作发表 PNAS 论文,提出 MAPL-EMIT 深度学习框架,基于 Swin-S vision transformer 处理 EMIT 高光谱数据,可同时完成甲烷羽流增强量化、羽流分割和源定位。

    推荐理由:原文给出了模型架构、训练方法和实测召回率,读者可据此评估这套深度学习方案在甲烷点源监测上的实际能力。

9月1日周二
  1. Google Research65

    Google 发布 TimesFM-3 多变量时序预测基础模型

    Google Research 发布 TimesFM-3,这是其时序基础模型家族的新一代版本,原生预训练用于多变量预测,参数量 3.3 亿,在超过 1 万亿时间点的真实与合成语料上完成预训练。

    推荐理由:原文给出了模型架构、参数量、评测排名和开放入口,读者可据此判断它相对单变量模型的提升幅度。

8月28日周五
  1. Hugging Face Blog69

    Open ASR Leaderboard 新增首个全球南方语言印地语评测集

    Hugging Face 与 Voice Arena 合作,为 Open ASR Leaderboard 新增印地语和印度英语评测集 Monsoon,这是该榜单多语言标签页首次覆盖印度语言。四个子集共 4,888 位说话人,记录 12 项说话人属性,并采用私有分割防止针对榜单的优化。印地语集因拼写变体众多改用 OIWER 指标,并开源实现 voi-oiwer 以便复现。

    推荐理由:原文展示了区域、设备等元数据如何暴露榜单上被平均掩盖的模型差异,读者可据此理解评测设计对模型选型的影响。

  2. Google Research62

    Google Earth AI 推出行星预测引擎 PPE,自主完成地理空间建模全流程

    Google Earth AI 推出实验性研究能力行星预测引擎(PPE),可自主执行从数据发现到模型训练评估的完整地理空间预测流程。

    推荐理由:原文展示了 PPE 在公共卫生、粮食安全、疫情预测等任务上的具体提升幅度,读者可据此评估自主地理空间建模的当前能力边界。

8月25日周二
  1. Hugging Face Blog62

    Quantization-Aware Healing 论文:4-bit 压缩模型在 7/9 基准上超越其全精度原版

    Multiverse Computing 发布论文《Quantization-Aware Healing》,提出从压缩前原模型直接蒸馏的修复方法,应用于 GPT-OSS 120B 压缩至 60B 并量化到 MXFP4 后,在 7/9 基准上超越其 bfloat16 版本,其中长上下文推理 +7.4、数学 +5.6。

    推荐理由:论文提出从压缩前原模型蒸馏的修复方法,让 4-bit 模型在多数基准上反超自身 bfloat16 版本,并对比了与 QAT 的稳定性差异。

8月21日周五
  1. Microsoft Research62

    微软研究院发布 Skala 1.1,扩展 DFT 精度与软件集成

    微软研究院发布深度学习 DFT 泛函 Skala 1.1,训练数据量为此前版本的 2.5 倍,在 GMTKN55 基准的 55 个类别中 32 项排名第一,加权平均误差为 2.8 kcal/mol,精度超越主流全局杂化泛函。Skala 现已集成至 CP2K,并正在集成到 Psi4、FHI-aims、ORCA 和 VASP,同时推出持续更新的性能基准报告。

    推荐理由:微软研究院发布 Skala 1.1,训练数据扩充 2.5 倍,并推进多款量子化学软件的集成,读者可据此评估其精度与可用性。

8月17日周一
  1. Google Research62

    Google Research 发布 PhotoScan:用智能手机照片估算体脂率与胰岛素抵抗风险

    Google Research 推出 PhotoScan,一个基于深度学习的研究框架,可从标准 2D 智能手机照片估算三维身体成分指标,包括体脂率(BF%)、A/G 比值和 V/S 比值。

    推荐理由:原文给出了PhotoScan在体脂率、A/G和V/S比值上的误差数据,以及相比智能手表BIA和DXA的预测能力对比,读者可据此判断智能手机影像估算代谢风险的可行性。

8月14日周五
  1. Hugging Face Blog70

    Hugging Face 发布 2026 夏季开源模型生态观察报告

    Hugging Face 发布 2026 年夏季开源模型生态半年报告,覆盖 1 至 8 月的观察。报告指出中国实验室前沿模型规模持续领先,美国厂商则更多通过 AMD、NVIDIA 等硬件公司发布开源模型;下载与点赞反映不同信号,Qwen 以 151,448 个衍生模型成为社区基础模型,小模型占据 83% 的历史下载量,智能体首次成为 Hub 第一大用户。

    推荐理由:报告用 Hub 下载、点赞与衍生模型数据拆解开源生态的结构性变化,可帮助读者理解前沿模型与基础设施之间的真实关系。

  2. Hugging Face Blog62

    Strands Robots 与 Hugging Face Storage Buckets 实现录制、训练、部署一体化数据闭环

    AWS 开源的 Strands Robots SDK 与 Hugging Face Storage Buckets 结合,实现从录制机器人演示、流式训练到部署策略的完整数据闭环。

    推荐理由:原文演示了从录制、存储、流式训练到部署的完整数据闭环,读者可据此评估这套开源工作流是否适合自己的机器人数据采集场景。

8月10日周一
  1. Hugging Face Blog62

    Multiverse Computing 提出高效知识蒸馏方法,将长上下文蒸馏压缩到单 GPU 可运行

    Multiverse Computing 发布论文《Efficient Knowledge Distillation for LLMs: Offline Top-K Logits and a Fused Chunked KL Loss》,通过缓存教师模型 top-100 logits 和融合分块 KL 损失,避免同时加载教师与学生模型,也无需物化完整的词表×序列长度矩阵。

    推荐理由:原文给出了离线蒸馏和融合分块 KL 损失的实现与内存对比,读者可据此评估在单卡上做长上下文蒸馏的可行性。

8月6日周四
  1. Google DeepMind82

    Google DeepMind 开源 WeatherNext 模型,气旋预报精度提升一天

    Google DeepMind 在 Nature 发表论文并开源 WeatherNext 2 和 WeatherNext Cyclones 模型,其气旋预报精度达到 SOTA,平均比此前模型多出一天以上的提前量,相当于气象学约十年的进步。

    推荐理由:原文给出了模型精度提升、开源范围和实际应用案例,读者可以据此判断该模型对气象预报领域的具体价值。

8月4日周二
  1. Microsoft Research80

    微软开源 Orchard 智能体训练框架,Orchard-SWE 在 SWE-bench Verified 达 69.7%

    微软研究院开源 Orchard,一个面向可扩展智能体 AI 研究的框架,核心是 Kubernetes 环境服务 Orchard Env,支持软件工程、网页导航和个人助理三类智能体,并可直接在 Codex、OpenClaw 等真实部署 harness 中训练。

    推荐理由:原文给出了开源框架、三个训练配方和关键基准成绩,读者可据此判断小模型在真实部署环境中的训练路径是否可复用。

7月31日周五
  1. Microsoft Research78

    微软 Echoverse:为计算机使用智能体构建深度演化训练环境

    微软研究院发布 Echoverse,一套为计算机使用智能体构建的深度演化训练环境,包含十个深度领域世界和两个能力世界。用全部十二个世界训练后,9B 模型得分从 36.5% 提升到 67.1%,接近 GPT-5.4。实验表明浅层环境会拖累模型,深度环境才能迁移;强化学习相对模仿学习能进一步提升留出集表现。微软开源了其中四个世界及其代码、数据和基于数据库的评分器。

    推荐理由:原文给出了深度合成环境对计算机使用智能体的训练收益,以及浅层环境反而拖累能力的对比证据,可据此判断训练数据质量与规模哪个更关键。