跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

最新精选

第 1–20 条 · 共 57 条
9月25日周五
  1. Google DeepMind62

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,为对话模型加入实时视频形象

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,为原生实时对话模型加入近实时视频生成能力,可边听边看边用动态视觉形象说话。该功能支持精确唇形同步、自然表情和流畅轮换,并可在后台异步调用工具的同时保持对话不中断。即日起在 Gemini Enterprise 中可用,支持跨 97 种语言无缝切换,所有输出均带 SynthID 水印。

    推荐理由:原文给出了实时视频形象、异步工具调用和 97 语言同步等能力细节,读者可据此判断企业客服等场景的落地方式。

9月24日周四
  1. Hugging Face Blog60

    Liquid AI 发布 LFM2.5-VL-DSpark 草稿模型,加速视觉语言模型推理

    Liquid AI 发布 LFM2.5-VL-3B 的实验性 DSpark 草稿模型,通过投机解码在几乎不增加内存的前提下提升推理速度,解码加速最高达 3.13x(设备端)和 2.66x(H100),端到端提升最高 2.62x 和 2.27x。

    推荐理由:原文给出了解码加速倍数、内存开销和三种推理框架的接入方式,读者可据此评估端侧视觉模型的推理收益。

  2. Latent Space78

    Meta Connect 2026 发布 Muse 智能体、VR 眼镜与 Charm,前沿模型仅预告未发布

    Meta 在 Connect 2026 上以个人智能体 Muse 为核心,推出语音与实时视频、Mac 电脑使用、Muse Mail 及 1500+ 连接器,并发布 Ray-Ban Meta Gen 3、售价 1299 美元的 Meta VR Glasses 和 12 月发货的 Muse Charm。

    推荐理由:Meta Connect 2026 的完整梳理,涵盖硬件、智能体、语音与收购,可作了解 Meta 全栈布局的入口。

9月23日周三
  1. Google DeepMind75

    Google DeepMind 发布 Gemini 3.8 Flash TTS 与 Flash-Lite TTS 语音生成模型

    Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型,支持用自然语言提示从零创建自定义角色声音、逐行导演表演,并覆盖 100 多种语言。

    推荐理由:原文给出了两款新语音模型的能力边界、开放入口和评测排名,读者可据此判断其适用场景。

9月16日周三
  1. NVIDIA Blog62

    曼彻斯特大学用 NVIDIA Earth-2 预测英国空气污染

    曼彻斯特大学团队利用 NVIDIA Earth-2 的生成式模型 CorrDiff 和 StormCast,在 Isambard-AI 超级计算机上训练出覆盖全英国的空气污染预测模型,分辨率达 2-3 平方公里,训练耗时仅两天。该模型还能在 DGX Spark 桌面系统上运行,团队计划开源训练数据和工作流,并探索与边缘 AI 设备结合实现实时决策。

    推荐理由:原文展示了生成式模型在空气污染预测上的首次落地,读者可借此了解生成式框架从天气迁移到污染领域的可行路径。

9月15日周二
  1. NVIDIA Blog62

    费城儿童医院如何用开源 NVIDIA AI 在数秒内完成儿童心脏建模

    费城儿童医院(CHOP)基于 NVIDIA 联合发起的开源医学影像框架 MONAI,将儿童心脏建模从原先需要熟练研究员四小时的工作缩短到数秒,已用于先天性心脏病手术规划。

    推荐理由:原文展示了开源AI工具如何把心脏建模从四小时压缩到秒级,并推动多家儿童医院落地,读者可借此理解开源生态在罕见病医疗中的实际价值。

9月3日周四
  1. Hugging Face Blog62

    Hugging Face 发布多模态编码器 NeoMME,260M 与 800M 两档开源

    Hugging Face 发布 NeoMME,一个 260M 和 800M 的多语言多模态编码器家族,用单一双向 Transformer 同时处理文本 token 和原始图像块,从零训练,不使用预训练视觉塔或因果语言模型。

    推荐理由:原文给出了模型架构、检索性能和压缩方案,读者可据此评估其在视觉文档检索中的适用性。

9月2日周三
  1. Google DeepMind80

    Google DeepMind 推出 Gemini 智能体视频理解功能

    Google DeepMind 推出智能体视频理解功能,覆盖 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite,可将 token 消耗降低最多 88%、成本降低最多 66%,准确率提升最多 7%。

    推荐理由:官方给出了 token 与成本降幅和准确率提升的具体数字,读者可据此判断该功能对长视频分析的实际价值。

9月1日周二
  1. Microsoft Research62

    微软发布 GigaPath-Flash 与 GigaTIME-Flash 高效病理基础模型

    微软研究院发布 GigaPath-Flash 与 GigaTIME-Flash,通过知识蒸馏将十亿参数编码器压缩为 22M 参数的 ViT-S 骨干,在保持约 97% 预测性能的同时将全切片分析计算量降低约 50 倍,空间蛋白组学预测提速约 6 倍、显存减少约 8 倍。两模型均以 Apache 2.0 协议开放权重,代码与权重已上架 Hugging Face,面向科研用途而非临床诊疗。

    推荐理由:原文给出了蒸馏压缩后的效率提升和开放权重入口,读者可据此评估病理基础模型在更大队列研究中的实用成本。

8月28日周五
8月27日周四
8月17日周一
  1. Google Research62

    Google Research 发布 PhotoScan:用智能手机照片估算体脂率与胰岛素抵抗风险

    Google Research 推出 PhotoScan,一个基于深度学习的研究框架,可从标准 2D 智能手机照片估算三维身体成分指标,包括体脂率(BF%)、A/G 比值和 V/S 比值。

    推荐理由:原文给出了PhotoScan在体脂率、A/G和V/S比值上的误差数据,以及相比智能手表BIA和DXA的预测能力对比,读者可据此判断智能手机影像估算代谢风险的可行性。

8月13日周四
  1. Hugging Face Blog62

    OlmoEarth Studio 推出自定义嵌入向量导出功能

    OlmoEarth Studio 现支持计算并导出嵌入向量,用户可通过 UI 或 API 选择感兴趣区域、时间范围、编码器变体和分辨率,得到 Cloud-Optimized GeoTIFF。嵌入向量支持相似性搜索、少样本分割、变化检测和 PCA 探索等下游任务,模型权重和源码已公开。Studio 还支持监督微调(SFT)以提升性能。

    推荐理由:原文给出了嵌入向量的导出方式、参数选项和下游任务示例,读者可据此判断它是否适合自己的遥感分析场景。

8月12日周三
  1. Google DeepMind80

    Google DeepMind 发布手语转文本模型 SL2T,率先落地 Pixel 11

    Google DeepMind 发布大规模多语种手语转文本模型 SL2T,首次将手语 AI 带入消费产品,支持在 Pixel 11 的 Gboard 和 Live Transcribe 中实现美国手语(ASL)到英语的听写。模型基于超过 10 万小时、50 多种手语数据训练,在 FLEURS-ASL 基准上取得 70 BLEURT 的零样本成绩,并采用姿态关键点而非原始视频以保护隐私。

    推荐理由:原文给出了 SL2T 的训练规模、基准成绩和落地入口,读者可据此判断手语 AI 从实验室走向消费产品的实际进展。

  2. Microsoft Research62

    微软研究院发布 CARE-X 放射学视觉语言模型

    微软研究院发布 CARE-X,一个面向胸部 X 光临床解读的统一视觉语言模型,结合生成式报告与结构化预测,并采用 DAPO 强化学习优化临床正确性。在 Chest ImaGenome 异常分类上,CARE-X 辅助头在阈值 0.5 时达到 0.943 灵敏度,在 ReXVQA 基准上以 94% 准确率排名第一。

    推荐理由:原文展示了辅助监督与奖励对齐如何提升放射学视觉语言模型的临床实用性,并给出工具增强测量带来的显著性能提升。

8月11日周二
8月10日周一
  1. Hugging Face Blog85

    Meta 发布开源多模态模型 Muse Glimmer-30B,主打本地智能体场景

    Meta 今日发布 Muse Glimmer,一个从 Muse 蒸馏到 30B 参数的多模态模型,专为本地智能体场景设计,采用 Apache 2.0 许可。模型由 2B 视觉编码器和 28B 文本解码器组成,支持图像、视频输入及多模态工具调用,并附带 DFlash 投机解码加速。

    推荐理由:原文给出架构细节、基准对比和本地部署路径,读者可据此评估它在端侧智能体场景的适用性。