跳到正文

#多模态

今日 0 条
9月25日周五
9月3日周四
  1. Hugging Face Blog62

    Hugging Face 发布多模态编码器 NeoMME，260M 与 800M 两档开源

    Hugging Face 发布 NeoMME，一个 260M 和 800M 的多语言多模态编码器家族，用单一双向 Transformer 同时处理文本 token 和原始图像块，从零训练，不使用预训练视觉塔或因果语言模型。

    推荐理由：原文给出了模型架构、检索性能和压缩方案，读者可据此评估其在视觉文档检索中的适用性。

9月1日周二
  1. Microsoft Research62

    微软发布 GigaPath-Flash 与 GigaTIME-Flash 高效病理基础模型

    微软研究院发布 GigaPath-Flash 与 GigaTIME-Flash，通过知识蒸馏将十亿参数编码器压缩为 22M 参数的 ViT-S 骨干，在保持约 97% 预测性能的同时将全切片分析计算量降低约 50 倍，空间蛋白组学预测提速约 6 倍、显存减少约 8 倍。两模型均以 Apache 2.0 协议开放权重，代码与权重已上架 Hugging Face，面向科研用途而非临床诊疗。

    推荐理由：原文给出了蒸馏压缩后的效率提升和开放权重入口，读者可据此评估病理基础模型在更大队列研究中的实用成本。

8月26日周三
8月22日周六
8月21日周五
  1. Google Research42

    移动性如何让语言模型更深入地理解地点

    Google Research 提出 Mobility-Embedded POIs（ME-POIs）框架，将聚合的匿名移动模式（如到达时间、停留时长）与文本描述结合，为地点构建动态嵌入。该框架在公开基准上使访问意图预测相对提升 81.9%，价格等级分类提升 75.1%，繁忙度估计提升 24.7%。ME-POIs 通过空间多尺度传播解决数据稀疏问题，并将移动性从预测任务转为定义地点本身的输入特征。

8月17日周一
  1. Google Research62

    Google Research 发布 PhotoScan：用智能手机照片估算体脂率与胰岛素抵抗风险

    Google Research 推出 PhotoScan，一个基于深度学习的研究框架，可从标准 2D 智能手机照片估算三维身体成分指标，包括体脂率（BF%）、A/G 比值和 V/S 比值。

    推荐理由：原文给出了PhotoScan在体脂率、A/G和V/S比值上的误差数据，以及相比智能手表BIA和DXA的预测能力对比，读者可据此判断智能手机影像估算代谢风险的可行性。

8月13日周四
8月12日周三
  2. Microsoft Research62

    微软研究院发布 CARE-X 放射学视觉语言模型

    微软研究院发布 CARE-X，一个面向胸部 X 光临床解读的统一视觉语言模型，结合生成式报告与结构化预测，并采用 DAPO 强化学习优化临床正确性。在 Chest ImaGenome 异常分类上，CARE-X 辅助头在阈值 0.5 时达到 0.943 灵敏度，在 ReXVQA 基准上以 94% 准确率排名第一。

    推荐理由：原文展示了辅助监督与奖励对齐如何提升放射学视觉语言模型的临床实用性，并给出工具增强测量带来的显著性能提升。

7月23日周四
  1. Google Research62

    Google Research 发布 SymptomAI 研究：对话式 AI 智能体用于日常症状评估

    Google Research 发布 SymptomAI 研究，在 n=13,917 的全国随机对照中，让参与者与五种 Gemini Flash 2.0 SymptomAI 智能体交互，并由临床专家盲评其鉴别诊断（DDx）表现。

    推荐理由：原文给出了大规模随机对照结果和可穿戴生物信号佐证，读者可据此评估对话式AI症状评估的真实水平。

7月9日周四
  1. Google Research70

    Google Research 发布 SensorFM，用一万亿分钟可穿戴数据训练通用健康传感器基础模型

    Google Research 发布 SensorFM，一个基于超过一万亿分钟、来自五百万名同意参与者的多模态可穿戴数据预训练的大型传感器基础模型。SensorFM 通过自监督重建学习，可跨心血管、代谢、睡眠和心理健康等任务迁移，在 35 项健康任务中 34 项优于特征工程监督基线。模型还结合了智能体课堂自动构建预测头，并能支撑个人健康智能体的端到端应用。

    推荐理由：原文给出了一万亿分钟级可穿戴数据训练的通用传感器基础模型，读者可据此判断它能否替代单任务健康模型。

6月13日周六
  1. Google Research62

    Google Research 发布AI辅助皮肤问题理解研究

    Google Research 发布两项关于AI辅助用户理解皮肤问题的研究。一项发表于 JAMA Dermatology 的量化研究显示，使用AI工具时参与者命名皮肤状况的准确率约为对照组的三倍（23% vs 8%），但确定下一步医疗行动的能力提升不显著。另一项与斯坦福医疗AI团队合作的真实世界研究显示，使用应用后参与者命名状况的能力提升260%，临床医生认为预测与自身评估一致的比例为86%。

    推荐理由：原文给出两项研究的具体数据，读者可据此判断AI辅助皮肤问题识别对用户理解的实际增益与局限。

6月5日周五
  1. Google Research62

    Google 在 Nature 发表论文：用手机前置摄像头实现被动心率监测

    Google Research 在 Nature 发表论文，介绍被动心率监测系统 PHRM，利用手机前置摄像头在面部解锁后拍摄视频，通过深度学习估计心率，MAPE 小于 10%，并估算每日静息心率，MAE 小于 5 bpm，准确度达到可穿戴设备水平。

    推荐理由：原文给出了PHRM系统的技术路线、跨肤色准确率数据和公开数据集，读者可据此评估被动心率监测的可行性与局限。

4月30日周四
  1. Google DeepMind62

    Google DeepMind 发布 AI co-clinician 研究计划，探索医疗AI协作模式

    Google DeepMind 宣布 AI co-clinician 研究计划，探索AI作为护理团队协作成员、在医生临床监督下与患者互动的模式。在98个真实初级保健查询的盲评中，系统在97例中零关键错误，优于两个常用AI系统；在OpenFDA的RxQA开放式药物问答中超越前沿模型。

    推荐理由：原文给出了AI co-clinician在证据综合、药物问答和远程医疗模拟中的具体评测结果，读者可据此判断医疗AI当前的能力边界。

4月9日周四
3月25日周三
  1. Google Research38

    S2Vec：谷歌如何用自监督框架学习城市“语言”

    Google Research 推出 S2Vec，一个用于学习建成环境通用嵌入向量的自监督框架。它通过 S2 Geometry 分区和特征栅格化将地理数据转化为多层图像，再用掩码自编码（MAE）学习位置特征，无需人工标注即可预测人口密度、收入等社会经济指标。评测中，S2Vec 在零样本地理泛化任务上表现最佳，与图像嵌入融合后效果更优。

3月12日周四
  1. Google Research62

    Google Research 发布 AMIE 对话式诊断 AI 真实门诊可行性研究

    Google Research 与 Beth Israel Deaconess 医学中心合作，开展了一项前瞻性单中心可行性研究，在真实门诊场景中部署对话式诊断 AI 系统 AMIE，用于患者就诊前的病史采集。

    推荐理由：原文给出了真实门诊场景下的安全性、诊断准确率和医患体验数据，读者可据此评估对话式医疗 AI 的落地可行性。

1月10日周六
  1. Berkeley AI Research40

    信息驱动式成像系统设计：直接评估与优化成像信息含量

    伯克利AI研究团队提出一种直接基于信息含量评估与优化成像系统的框架，无需训练重建或分类网络。该方法利用成像系统已知的噪声物理特性，仅从含噪测量中估计互信息，并在彩色摄影、射电天文、无透镜成像和显微镜四个领域验证了其预测性能。优化该信息指标可达到与端到端方法相当的设计效果，同时减少内存与计算需求，且无需任务特定的解码器设计。