跳到正文

#多模态

今日 1 条
今天9月29日周二
9月24日周四
  1. Hugging Face Blog60

    Liquid AI 发布 LFM2.5-VL-DSpark 草稿模型,加速视觉语言模型推理

    Liquid AI 发布 LFM2.5-VL-3B 的实验性 DSpark 草稿模型,通过投机解码在几乎不增加内存的前提下提升推理速度,解码加速最高达 3.13x(设备端)和 2.66x(H100),端到端提升最高 2.62x 和 2.27x。

    推荐理由:原文给出了解码加速倍数、内存开销和三种推理框架的接入方式,读者可据此评估端侧视觉模型的推理收益。

9月22日周二
  1. Latent Space78

    小米发布 MiMo-V2.6-Pro 开源全模态模型,训练成本约 300 万美元

    小米发布 MiMo-V2.6 系列开源全模态模型,其中 MiMo-V2.6-Pro 以 1.02T 总参数、42B 激活参数成为 Artificial Analysis 智能指数上排名最高的开源权重模型,输入输出价格分别为 $0.435/M 和 $0.87/M tokens,采用 MIT 许可。

    推荐理由:原文给出了 MiMo-V2.6-Pro 的参数量、训练成本和开源范围,读者可据此判断开源模型在 RL 路线上的进展。

9月16日周三
9月3日周四
8月12日周三
  1. Google DeepMind80

    Google DeepMind 发布手语转文本模型 SL2T,率先落地 Pixel 11

    Google DeepMind 发布大规模多语种手语转文本模型 SL2T,首次将手语 AI 带入消费产品,支持在 Pixel 11 的 Gboard 和 Live Transcribe 中实现美国手语(ASL)到英语的听写。模型基于超过 10 万小时、50 多种手语数据训练,在 FLEURS-ASL 基准上取得 70 BLEURT 的零样本成绩,并采用姿态关键点而非原始视频以保护隐私。

    推荐理由:原文给出了 SL2T 的训练规模、基准成绩和落地入口,读者可据此判断手语 AI 从实验室走向消费产品的实际进展。

8月10日周一
  1. Hugging Face Blog85

    Meta 发布开源多模态模型 Muse Glimmer-30B,主打本地智能体场景

    Meta 今日发布 Muse Glimmer,一个从 Muse 蒸馏到 30B 参数的多模态模型,专为本地智能体场景设计,采用 Apache 2.0 许可。模型由 2B 视觉编码器和 28B 文本解码器组成,支持图像、视频输入及多模态工具调用,并附带 DFlash 投机解码加速。

    推荐理由:原文给出架构细节、基准对比和本地部署路径,读者可据此评估它在端侧智能体场景的适用性。

8月4日周二
  1. Mistral AI70

    Mistral 发布 3B 开源多模态安全审核模型 Shieldstral

    Mistral 发布 Shieldstral,一个 3B 开源多模态安全审核模型,在文本安全上匹配最高 7 倍规模的模型,并在多模态审核上达到新 SOTA。它把内容审核建模为策略自适应问答,推理时用自然语言问题定义策略,无需重训即可统一审核文本和图像,返回校准的安全分数。模型以 Apache 2.0 开源,可在单张 16GB NVIDIA GPU 上运行。

    推荐理由:原文给出了把内容审核建模为策略自适应问答的思路,读者可以据此判断这种免重训的审核方式是否适合自身场景。

7月30日周四
  1. Google DeepMind75

    Google DeepMind 发布 Gemini Robotics ER 2 具身推理模型

    Google DeepMind 发布 Gemini Robotics ER 2,这是其最强大的具身推理模型,支持视频理解、任务编排和多机器人协作,可将动作执行交给任意底层 VLA 模型。

    推荐理由:原文给出了新模型的三大能力升级和公开开放入口,读者可据此判断它如何改变机器人任务编排与多机协作的开发方式。

7月28日周二
7月21日周二
7月15日周三
  1. Hugging Face Blog82

    Thinking Machines 发布开源多模态模型 Inkling 及 Inkling-Small

    Thinking Machines 在 Hugging Face 发布开源多模态模型 Inkling,约 1T 参数、支持 1M 上下文,原生接受图像、文本和音频输入,具备智能体能力,并提供 BF16 和 NVFP4 变体。

    推荐理由:原文给出了 Inkling 的架构细节、部署配置和基准表现,读者可以据此判断它作为开源多模态模型的定位与可用性。

6月11日周四
  1. Google DeepMind79

    Google DeepMind 发布开源扩散模型 DiffusionGemma,推理速度最高提升 4 倍

    Google DeepMind 发布实验性开源模型 DiffusionGemma,采用文本扩散技术并行生成整块文本,在专用 GPU 上推理速度最高提升 4 倍,单张 NVIDIA H100 上每秒可生成 1000+ token。该 26B MoE 模型推理时仅激活 3.8B 参数,量化后适配 18GB 显存,面向内联编辑、代码填充等速度敏感的本地交互场景,但整体输出质量低于标准 Gemma 4。

    推荐理由:原文给出了速度提升、硬件门槛和适用场景,读者可据此判断它适合哪些本地交互工作流。

6月9日周二
5月18日周一
5月16日周六
  1. Google DeepMind85

    Google DeepMind 发布 Gemini 3.5,率先推出 3.5 Flash

    Google DeepMind 发布 Gemini 3.5 模型家族,率先推出 3.5 Flash,主打智能体与编码能力,在 Terminal-Bench 2.1(76.2%)、GDPval-AA(1656 Elo)和 MCP Atlas(83.6%)等基准上超越 Gemini 3.1 Pro,输出速度比其他前沿模型快 4 倍。

    推荐理由:官方给出了 3.5 Flash 的基准成绩、速度与成本优势,读者可据此判断它在智能体任务上的实际定位。

4月13日周一
4月3日周五
3月17日周二
12月3日周三
7月15日周二
  1. Mistral AI78

    Mistral 发布开源语音理解模型 Voxtral,提供 24B 与 3B 两个版本

    Mistral AI 发布开源语音理解模型 Voxtral,提供 24B 生产级和 3B 端侧两个版本,均采用 Apache 2.0 许可并开放 API。Voxtral 支持 32k token 上下文、最长 30 分钟转写或 40 分钟理解、内置问答与摘要、多语言识别及语音直接触发函数调用。

    推荐理由:原文给出了两个开源语音模型的规模、许可和定价,读者可据此评估其在生产场景中的成本与部署选择。

3月17日周一
  1. Mistral AI72

    Mistral Small 3.1 发布:128k 上下文、多模态、Apache 2.0 开源

    Mistral AI 发布 Mistral Small 3.1,在文本性能、多模态理解和 128k 上下文窗口上较前代升级,推理速度达每秒 150 tokens,性能超越 Gemma 3 和 GPT-4o Mini,并以 Apache 2.0 许可开源。

    推荐理由:官方公布了性能对比、推理速度和开源许可,读者可据此判断它相对同类小模型的定位与适用场景。