Grok 4.7 上线 Amazon Bedrock，支持 500K 上下文与四级推理强度
xAI 的 Grok 4.7 现已上线 Amazon Bedrock，提供 500K token 上下文窗口，支持 low、medium、high、xhigh 四级推理强度，可通过 Responses、Chat Completions 和 Converse API 调用。
推荐理由：原文给出了模型能力、接入方式和成本控制要点，读者可据此判断如何在 Bedrock 上使用 Grok 4.7。
部署工程
全部主题把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
最新精选
第 1–20 条 · 共 39 条AWS Machine Learning Blog精选AI 评分7070
Hugging Face Blog精选AI 评分6060 Liquid AI 发布 LFM2.5-VL-DSpark 草稿模型，加速视觉语言模型推理
Liquid AI 发布 LFM2.5-VL-3B 的实验性 DSpark 草稿模型，通过投机解码在几乎不增加内存的前提下提升推理速度，解码加速最高达 3.13x（设备端）和 2.66x（H100），端到端提升最高 2.62x 和 2.27x。
推荐理由：原文给出了解码加速倍数、内存开销和三种推理框架的接入方式，读者可据此评估端侧视觉模型的推理收益。
Hugging Face Blog精选AI 评分6262 NVIDIA 教程：用 Warp 与 MJWarp 将 MuJoCo 机器人仿真扩展到 2048 并行环境
NVIDIA 发布教程，讲解如何用 NVIDIA Warp 与 MuJoCo Warp（MJWarp）将 SO-101 机械臂场景从单世界 CPU 仿真迁移到最多 2048 个并行 GPU 环境。文章覆盖单世界校验、批量分配、容量调优与吞吐测量，并给出 pip install warp-lang 与 mujoco-warp 的安装入口。
推荐理由：原文给出从单世界 MuJoCo 迁移到 2048 并行 MJWarp 环境的完整步骤，读者可直接照做并复现吞吐测量。
GitHub Blog · AI & ML精选AI 评分6060 GitHub Copilot 应用如何渲染超大 Pull Request
GitHub Copilot 应用重构了 Pull Request 视图，以应对 2200 个文件、超百万行改动和 400 多条评论的极端场景。方案将文档高度拆分为确定性代码高度与动态块高度两个独立域，用单次空闲与滚动门控的测量通道替代逐块 ResizeObserver，并通过按身份而非像素的滚动锚定避免跳动。团队还构建了自主的变更、测量、改进循环，用真实信号自动定位性能问题。
推荐理由：原文拆解了超大 diff 渲染的虚拟化、测量调度与滚动锚定方案，读者可借鉴其工程取舍。
AWS Machine Learning Blog精选AI 评分6262 AWS 教程：用 Amazon Bedrock 上的开源权重模型运行 OpenCode 编码智能体
AWS 发布教程，介绍如何用 Amazon Bedrock 上的开源权重模型运行 OpenCode 编码智能体。OpenCode 是 Go 编写的终端原生 AI 编码智能体，支持 75 多个 LLM 提供商，推理在 AWS 账户内安全进行，无按席位费用。
推荐理由：原文给出了在 Bedrock 上运行 OpenCode 的完整配置方法，读者可以据此搭建多模型编码工作流。
Microsoft Research精选AI 评分6868 微软研究：将物理 AI 推理卸载到边缘或云端可提升机器人性能与续航
微软研究团队挑战机器人 AI 的核心假设，系统性研究表明仅在机器人板载 GPU 上运行物理 AI 推理会限制性能、电池寿命和可扩展性，而将推理卸载到边缘或云端 GPU 可带来显著优势。
推荐理由：原文给出首个机器人推理卸载的系统性测量结果，并配套开源工具链，读者可据此评估端侧与边缘云推理的取舍。
NVIDIA Blog精选AI 评分6262 NVIDIA Isaac ROS 5.0 发布，引入智能体工作流并支持 ROS Lyrical
NVIDIA 在 ROSCon 大会上发布 Isaac ROS 5.0，这是一套基于 ROS 的 GPU 加速开源包，新增智能体工作流和平台支持，帮助开发者更快构建、定制和部署机器人应用。
推荐理由：原文给出了 Isaac ROS 5.0 的智能体工作流、ROS Lyrical 支持和生态伙伴落地案例，读者可据此判断它如何加速机器人开发。
Hugging Face Blog精选AI 评分7373 Hugging Face transformers 支持运行 llama.cpp 的 GGUF 量化模型
Hugging Face 在 transformers 中加入对 GGUF 模型的高效运行支持，通过复用 ggml 的 Metal 内核，可在 Apple Silicon 上以熟悉的 from_pretrained 接口加载并生成。
推荐理由：原文给出了 GGUF 加载方式、性能对比和当前限制，读者可以据此判断在 transformers 里跑本地量化模型的可行性与适用场景。
Hugging Face Blog精选AI 评分6262 tokenizers v1 发布候选版：编码速度提升 3 至 30 倍
Hugging Face 发布 tokenizers v1 的候选版本，编码路径比 v0.23 快 3 到 30 倍，在 Apple M4 Max 上八线程扩展效率为线性扩展的 76%，且输出 token ID 与旧版完全一致。
推荐理由：原文给出了 v1 相比 v0.23 的编码提速幅度和实现原理，读者可据此判断升级收益与适用场景。
GitHub Blog · AI & ML精选AI 评分8585 GitHub 用 Copilot 将 Copilot 运行时重写为 Rust
GitHub 用 Copilot 将 Copilot 运行时从 TypeScript 重写为超过 80 万行生产 Rust，历时约 14.5 周，由一名开发者主导完成。重写采用组件级就地替换策略，性能提升数个数量级，并新增 C ABI 支持进程内嵌入。
推荐理由：原文给出了用 Copilot 自身完成大规模 Rust 重写的完整过程与数据，读者可据此评估 AI 辅助重写的可行性与工程方法。
NVIDIA Blog精选AI 评分6868 NVIDIA Vera Rubin NVL72 在 MLPerf Inference v6.1 首秀中取得领先性能
NVIDIA Vera Rubin NVL72 在 MLPerf Inference v6.1 首次提交中，Qwen3-VL 吞吐量比 GB300 NVL72 最高提升 3.7 倍，DeepSeek-R1 最高提升 2.5 倍。GB300 NVL72 在 288 GPU 规模下实现 99% 扩展效率，软件优化带来最高 1.6 倍性能提升。Nebius 等 19 家合作伙伴也提交了结果。
推荐理由：原文给出 Vera Rubin NVL72 在 MLPerf 推理基准上的首秀成绩与对比数据，读者可据此评估新一代平台的推理性能与扩展效率。
NVIDIA Blog精选AI 评分6262 NVIDIA DSX 平台发布功率管理实测：固定功率下 token 吞吐提升 24%
NVIDIA 在 AI Infra Summit 上介绍 DSX 平台，用于在固定功率预算内最大化 AI 工厂的 token 吞吐。云服务商 Lambda 的首次验证显示，19 个节点在 85% 功率下比 16 个节点满功率多产出 24% 的集群 token 吞吐，性能每瓦提升 23%。
推荐理由：原文给出 DSX 平台在功率管理上的实测数据与首个商业部署，读者可据此评估 AI 工厂在固定功率预算下的提效空间。
NVIDIA Blog精选AI 评分7070 NVIDIA 在 AI Infra Summit 展示 Vera Rubin 与 DSX 平台能效进展
NVIDIA 在 AI Infra Summit 上宣布 Vera Rubin 与 DSX 平台多项进展，包括与 Amazon Annapurna Labs 合作 NVHBM 技术、d-Matrix 集成 NVLink Fusion，以及 Emerald AI 与 Silicon Valley Power 的灵活负载项目。
推荐理由：原文汇总了 NVIDIA 在 AI Infra Summit 上围绕 Vera Rubin 与 DSX 平台的多项进展，读者可据此了解 AI 工厂在能效与吞吐上的最新优化方向。
Hugging Face Blog精选AI 评分7878 AsyncGRPOTrainer 结合 LoRA 跨 HF Jobs 训练：用存储桶同步适配器，无需 NCCL
Hugging Face 博客介绍如何用 AsyncGRPOTrainer 结合 LoRA 在 HF Jobs 上跨节点训练，通过 Storage Bucket 同步适配器而非 NCCL，并用代理路由请求。500 步训练从 3 小时 27 分钟优化到 53 分钟，速度提升 3.9 倍，代码已开源。
推荐理由：原文给出了完整的架构、代码和调优过程，读者可以据此复现跨节点 LoRA 异步强化学习训练。
Google DeepMind精选AI 评分7878 Google DeepMind 发布 WeatherNext 3 全球天气 AI 模型
Google DeepMind 和 Google Research 发布 WeatherNext 3，据 Brightband 独立实时评测为目前最先进、最准确的全球天气模型。
推荐理由：原文给出了分辨率、更新频率和降水精度等关键指标，读者可据此判断新一代天气模型的实际能力提升。
Hugging Face Blog精选AI 评分7373 Hugging Face 发布 @huggingface/kernels：207 个 WebGPU 内核加速本地 AI 推理
Hugging Face 发布 @huggingface/kernels，一个用于从 Hub 加载和运行优化 WebGPU 内核的库，并推出 207 个内核的初始集合，Apache-2.0 许可。在 Apple M4 GPU 上与 ORT WebGPU 对比，几何平均快 2.57 倍，中位数快 1.90 倍。同时推出 Fleet 浏览器基准测试套件，用于众包收集真实 GPU 上的正确性和性能证据。
推荐理由：原文给出了 207 个 WebGPU 内核的发布、性能对比数据和开源许可，读者可据此评估浏览器端推理的加速空间。
Hugging Face Blog精选AI 评分6262 Gradio 推出 gr.Workflow，把 AI 流程变成可视化画布与 REST API
Gradio 发布内置的 gr.Workflow，让用户把多步 AI 流程描述为类型化节点图，Gradio 会提供可拖拽画布，每个节点可运行且中间结果可见。同一张图同时是 REST API，并支持一键部署到 Hugging Face Spaces。文中给出图像编辑、媒体工作室、并行生成、数据集分析等可复制的示例 Space。
推荐理由：原文展示了把多步 AI 流程变成可视化画布、REST API 和一键部署的具体用法，读者可据此判断它能否简化自己的管线搭建。
Hugging Face Blog精选AI 评分6262 Liquid AI 发布 LFM2.5-DSpark 草稿模型，推理速度最高提升 3.18 倍
Liquid AI 发布 LFM2.5 系列三款模型的 DSpark 草稿模型检查点，通过投机解码在 GPU 上实现最高 3.18 倍吞吐提升，端侧最高 2.87 倍，且不改变输出质量。LFM2.5-2.6B 的函数调用延迟平均降低 57%，并已开源支持 llama.cpp 和 SGLang。
推荐理由：原文给出了三款草稿模型的加速数据和接入方式，读者可据此评估投机解码带来的实际收益。
Hugging Face Blog精选AI 评分6262 Dharma AI 发布约束感知 GPU 分配器：同集群利用率提升 33 个百分点
Dharma AI 构建了约束感知 GPU 分配器，并在七个基准场景中与 FIFO 调度器对比，相同硬件和负载下 GPU 利用率最高提升 33 个百分点，优先级加权输出平均提升 52%。分配器将实时推理需求视为曲线而非峰值预留，按优先级跨整个时间轴放置批处理作业，并在 1 到 2 毫秒内完成调度。文章还介绍了训练、量化等负载的专用预测器，以及 24 小时优化、每 30 到 60 分钟重跑的机制。
推荐理由：原文给出了约束感知 GPU 分配器相对 FIFO 的实测收益和实现思路，读者可据此评估调度顺序优化对集群利用率的实际影响。
Hugging Face Blog精选AI 评分6262 Strands Robots 与 Hugging Face Storage Buckets 实现录制、训练、部署一体化数据闭环
AWS 开源的 Strands Robots SDK 与 Hugging Face Storage Buckets 结合，实现从录制机器人演示、流式训练到部署策略的完整数据闭环。
推荐理由：原文演示了从录制、存储、流式训练到部署的完整数据闭环，读者可据此评估这套开源工作流是否适合自己的机器人数据采集场景。