跳到正文

部署工程

把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。

88条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 81–88 条 · 共 88 条
3月25日周三
  1. Google Research62

    Google 发布 Vibe Coding XR：用 Gemini 在 60 秒内生成 Android XR 应用

    Google 发布 Vibe Coding XR 工作流，结合 Gemini 的长上下文推理与 XR Blocks 框架，将自然语言直接转化为带物理感知的 Android XR 应用，生成时间在 60 秒内。

    推荐理由：原文给出了从自然语言到可运行 XR 应用的完整流程和实测成功率，读者可据此评估该工作流的成熟度与上手成本。

1月22日周四
  1. Mistral AI62

    Mistral AI 复盘 vLLM 内存泄漏排查：从 Heaptrack 到 GDB 定位 UCX 根因

    Mistral AI 发布工程深度复盘，记录其在 vLLM 预填充/解码分离部署中排查内存泄漏的过程。问题表现为生产流量下系统内存以每分钟 400 MB 线性增长，最终通过 pmap、BPFtrace 和 GDB 定位到 UCX 的 mmap 钩子机制导致匿名内存区域持续增长。设置 UCX_MEM_MMAP_HOOK_MODE=none 即可解决，相关修复已合并进 vLLM 仓库。

    推荐理由：Mistral AI 完整复盘了 vLLM 内存泄漏的排查链路，从 Heaptrack 到 BPFtrace 再到 GDB，读者可复用这套方法论定位依赖层隐藏问题。

10月24日周五
  1. Mistral AI60

    Mistral AI 发布 AI Studio 企业生产平台

    Mistral AI 发布 AI Studio，面向企业团队提供从原型到生产的 AI 平台，核心由可观测性、Agent Runtime 和 AI Registry 三根支柱构成。平台支持混合云、专有和自托管部署，内置评估、反馈闭环、版本追踪与治理能力，现已开放私有测试报名。

    推荐理由：原文把企业 AI 从原型到生产的瓶颈拆成可观测、可执行、可治理三根支柱，读者可据此对照自身团队的落地缺口。

8月27日周三
  1. Cloudflare Blog · AI Gateway62

    Cloudflare AI Gateway 更新：统一计费、动态路由与 DLP 安全控制

    Cloudflare 为 AI Gateway 推出统一计费、Secrets Store 密钥托管、动态路由和 DLP 安全扫描等新功能，用户可通过单一入口访问 Anthropic、Google、Groq、OpenAI、xAI 等 6 家供应商的 350+ 模型。

    推荐理由：Cloudflare 把多家模型供应商的计费、密钥与路由收进单一入口，读者可据此判断 AI 网关的工程取舍。

9月26日周四
5月22日周三
3月14日周四
  1. Cloudflare Blog · AI Gateway62

    Cloudflare 缓解 AI 产品中的 token 长度侧信道攻击

    Cloudflare 与 Ben Gurion University 研究人员合作，发现并修复了一个影响 LLM 提供商的 token 长度侧信道漏洞。该攻击通过分析流式模式下网络数据包长度推断 token 序列，研究人员称在理想条件下可重建 29% 的 AI 助手回复并推断 55% 的主题。

    推荐理由：原文披露了针对流式 LLM 的 token 长度侧信道攻击细节，以及 Cloudflare 在 Workers AI 和 AI Gateway 上的缓解方案。

9月27日周三