在 SageMaker AI 上使用 vLLM-Omni 构建实时语音应用(第一部分)
AWS 发布教程,演示如何在 SageMaker AI 上通过 vLLM-Omni DLC 部署 Qwen3-TTS 模型,实现文本流式输入和音频流式输出的双向实时语音应用。
AWS 发布教程,演示如何在 SageMaker AI 上通过 vLLM-Omni DLC 部署 Qwen3-TTS 模型,实现文本流式输入和音频流式输出的双向实时语音应用。
本文展示如何在 Amazon SageMaker AI 上部署两个基于同一 AWS vLLM-Omni DLC 的端点:实时端点运行 FLUX.2-klein-4B 生成图像,异步端点运行 Wan2.1-VACE-1.3B 将图像动画化为短视频。
Amazon Nova Act 通过多模态大语言模型处理 UI 截图而非 DOM 选择器,以自然语言指令驱动浏览器工作流,在早期企业用例中对浏览器工作流准确率超过 90%。
AWS 发布跨账户自动化管理 Amazon Textract 适配器生命周期的解决方案,涵盖适配器提升、文档路由与生产安全三大挑战。通过将适配器 ID 外部化到 AWS Systems Manager Parameter Store,更新生产引用可实现零停机、无需重新部署应用,将原本耗时数小时或数天的协调工作缩短至数秒。
针对 Bluesky 上日益增多的自动回复机器人,Simon Willison 用 Opus 5.5 通过 vibe coding 开发了一款检测工具。该工具通过分析账户回复速度、是否从不发布原创内容以及回复中是否含问号等信号,识别疑似回复机器人。Bluesky 仍提供免费可用的 API,使这类调查成为可能。
Simon Willison 用 Claude Opus 5.5 将三张鸮鹦鹉照片生成包含 20 只以上像素鸟的互动派对动画,并让本地 Claude Code 借助 Playwright 脚本自动点击页面,录制出 15 秒视频用于 WeAreDevelopers 闭幕演讲的最后一页幻灯片。
GitHub Copilot app 的 canvases(画布)功能让用户无需编码即可通过 /create-canvas 技能用自然语言描述需求,生成可共享的看板、发布清单、仪表盘等自定义界面。画布支持双向交互,用户和智能体可同时更新卡片、字段或按钮,且无需单独同步步骤。创建后的画布可保存为扩展供团队或个人复用,社区还通过 Awesome Copilot 分享了现成的画布扩展。
AWS 提出一种结合 Amazon EKS、EFA 与 DeepEP 的架构,用于加速大规模 MoE 模型的强化学习后训练,吞吐量提升 40%。该方案重点优化专家并行(EP)带来的动态 all-to-all 通信,并协调 rollout 生成与策略训练之间的异构算力需求。文章分析了 RL 训练在算力、内存与网络带宽上的三重挑战,以及 PPO 与 GRPO 两类流程的共性基础设施压力。
AWS 展示了如何在 SageMaker HyperPod 上运行开源 RL 框架 SkyRL,以 GRPO 算法训练 Qwen3-VL-8B 视觉语言模型导航视觉迷宫。
AWS 机器学习博客发布 NarrateAI 系列第二篇,详解在 Amazon Bedrock 上实现生产级 LLM 质量保障的五项技术:自适应流水线编排、跨账户多模型故障转移、实时流式评估、复合评估框架和数据准确性验证。该系统为超过 4,000 名 AWS 高管提供商业智能服务,实测数值准确率约 99%,流式响应约 13 秒开始输出,相比顺序评估延迟降低 86.8%。
Qwen3-TTS-12Hz-1.7B-Base 现可通过 Amazon SageMaker JumpStart 部署到全托管实时推理端点,支持从数秒参考音频克隆说话人音色,无需重新训练模型。
Amazon SageMaker HyperPod 与 Qumulo 的 Cloud Data Fabric 搭配,可让训练计算与数据集分处不同 AWS 区域,无需复制数据或改代码即可保持吞吐。
Simon Willison 发布 commit-rewriter 0.2,一个用于重写 git 提交信息的工具。该版本为 0.2 迭代,具体功能改进未在原文中详述。
GitHub Security Lab 发布 Fuzzing Taskflow,一个基于 Taskflow Agent 框架的 C/C++ 项目自动化模糊测试管线,只需指向 GitHub 仓库即可自动识别入口点、编写 harness、运行 AFL++、分析覆盖率并分类崩溃。
推荐理由:原文给出了完整的架构分层和覆盖反馈循环设计,读者可据此判断这套自动化模糊测试管线的可迁移价值。
AWS 推出 WhisperX 深度学习容器(DLC),将 OpenAI Whisper 与 wav2vec2 强制对齐及说话人分离结合,提供逐词时间戳和说话人标签。
亚马逊云科技发布参考架构,通过 Amazon Bedrock AgentCore Gateway 和 MCP 构建多账户 AI 智能体,让数据留在各业务账户本地,查询时仅流出所需数据。
NVIDIA 发布教程,讲解如何用 NVIDIA Warp 与 MuJoCo Warp(MJWarp)将 SO-101 机械臂场景从单世界 CPU 仿真迁移到最多 2048 个并行 GPU 环境。文章覆盖单世界校验、批量分配、容量调优与吞吐测量,并给出 pip install warp-lang 与 mujoco-warp 的安装入口。
推荐理由:原文给出从单世界 MuJoCo 迁移到 2048 并行 MJWarp 环境的完整步骤,读者可直接照做并复现吞吐测量。
GitHub Copilot 应用重构了 Pull Request 视图,以应对 2200 个文件、超百万行改动和 400 多条评论的极端场景。方案将文档高度拆分为确定性代码高度与动态块高度两个独立域,用单次空闲与滚动门控的测量通道替代逐块 ResizeObserver,并通过按身份而非像素的滚动锚定避免跳动。团队还构建了自主的变更、测量、改进循环,用真实信号自动定位性能问题。
推荐理由:原文拆解了超大 diff 渲染的虚拟化、测量调度与滚动锚定方案,读者可借鉴其工程取舍。
AWS 官方博客发布了一套基于 Strands Agents SDK、Amazon Bedrock、Rekognition 和 Transcribe 的智能体视频问答方案,用户可用自然语言查询视频内容。
AWS 发布教程,介绍如何用 Amazon Bedrock 上的开源权重模型运行 OpenCode 编码智能体。OpenCode 是 Go 编写的终端原生 AI 编码智能体,支持 75 多个 LLM 提供商,推理在 AWS 账户内安全进行,无按席位费用。
推荐理由:原文给出了在 Bedrock 上运行 OpenCode 的完整配置方法,读者可以据此搭建多模型编码工作流。
llm-keys-ui 0.1 插件解决了在远程机器上安全配置 API 密钥的问题,用户可通过 `uvx --with llm-keys-ui llm keys-ui --all` 启动界面,并获取本地网络或 Tailscale 设备 IP 地址来保存密钥。
OpenAI 介绍 ChatGPT Work 与 Codex 的分析功能,帮助团队了解 AI 使用情况与支出、识别培训需求,并将采用情况与业务成果关联起来。该功能旨在让企业量化 AI 投入的实际回报,从而更精准地优化部署策略。
GitHub 日韩市场负责人 Tomoko Tanaka 分享如何用 GitHub Copilot 将活动运营自动化:从单个 GitHub Issue 自动搭建落地页、生成 UTM 链接、每日筛选报名者,到会后用 /lead-upload 和 /event-report 两个斜杠命令完成 CRM 上传和报告。
推荐理由:作者用 GitHub Copilot 把活动运营流程自动化,给出了从 Issue 表单到 Skills 的完整可迁移方法。
GitHub Copilot app 新增内置 diff、终端和浏览器面板,让用户无需离开应用即可审查、运行并预览智能体对代码的改动。diff 面板以红绿高亮显示增删行,支持接受或评论;终端面板可直接运行项目命令,浏览器面板配合 Pick & Polish 工具可迭代调整界面元素。完成审查后可直接在应用内接受改动并创建 pull request。
Hugging Face 发布 Workflow1111,用 Gradio Workflow 以 73 个节点、11 条媒体管线重建了 AUTOMATIC1111 的 stable-diffusion-webui 主要功能,涵盖文生图、图生图、高清修复、提示词矩阵、VLM 反推提示词、检测转蒙版、ControlNet 风格标注器、背景移除、PNG Info 和图生视频。
推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face 博客介绍如何用 AsyncGRPOTrainer 结合 LoRA 在 HF Jobs 上跨节点训练,通过 Storage Bucket 同步适配器而非 NCCL,并用代理路由请求。500 步训练从 3 小时 27 分钟优化到 53 分钟,速度提升 3.9 倍,代码已开源。
推荐理由:原文给出了完整的架构、代码和调优过程,读者可以据此复现跨节点 LoRA 异步强化学习训练。
Mistral 帮助一家欧洲能源运营商将 4 万行 Fortran 77 物理模拟器迁移到 C++,并总结了可复用的方法。项目先构建数值一致性校验框架,再用 Vibe CLI 生成调用树并派上百个智能体整理文档,最后采用人工把关的规划、编码、测试、审查智能体工作流逐模块迁移。
推荐理由:原文给出了用智能体迁移遗留代码的完整工作流和三条可复用原则,读者可直接借鉴到同类项目。
GitHub Copilot app 支持在同一项目上并行运行多个 AI 智能体会话,每个会话独立执行任务、互不干扰,并拥有各自的 Git worktree 和上下文,用户可随时切换且无需重新解释。通过 sessions view 可同时跟踪多个任务进度,例如在示例仓库 tailspin-toys 中并行实现 funded sort 功能、可访问性审查和测试运行,从而减少等待和上下文切换时间。
Hugging Face 发布公开教程,用 TRL 库对 LFM2.5-350M 做约500样本、100步的 GRPO 微调,在 IFStruct 基准上从22.6%提升至29.7%,其中 JSON 通过率从18.0%升至31.9%。整套流程可在免费版 Colab 或 Kaggle GPU 上运行,评估可在 MacBook 上通过 llama.cpp 完成,代码已开源在 GitHub。
推荐理由:给出了一套约500样本、100步的轻量GRPO微调配方,读者可据此低成本提升小模型的结构化输出合规率。
作者用 TRL 和 OpenEnv 复现了 Surya Narreddi 的用语言模型写 JavaScript 画水彩的项目,并开源了参考数据集、RL 环境、训练脚本和训练好的模型。
推荐理由:作者用 TRL 和 OpenEnv 完整复现了用代码画水彩的 RL 训练流程,并开源全部数据集、环境和模型,读者可据此复现或改造。
Sentence Transformers v6.0 引入第四种模型类型 MultiVectorEncoder,用于 ColBERT 式晚期交互检索,并配套完整的训练方法。
推荐理由:原文给出了完整的微调流程、实测对比和索引压缩方案,读者可以据此在自己的领域数据上复现并评估收益。
Sentence Transformers v6.0 新增第四种模型类型 MultiVectorEncoder,用于 ColBERT 式晚期交互检索,PyLate、Stanford-NLP ColBERT 及 colpali-engine 视觉文档检索检查点均可直接加载。
推荐理由:官方博客给出第四种模型类型 MultiVectorEncoder 的完整用法,读者可据此把 ColBERT 式检索接入现有搜索栈。
AWS 开源的 Strands Robots SDK 与 Hugging Face Storage Buckets 结合,实现从录制机器人演示、流式训练到部署策略的完整数据闭环。
推荐理由:原文演示了从录制、存储、流式训练到部署的完整数据闭环,读者可据此评估这套开源工作流是否适合自己的机器人数据采集场景。
Hugging Face 发布 PyTorch 性能剖析系列第三篇,用 profiler 对比朴素注意力、原地掩码、SDPA 的 math、efficient、flash 和 cuDNN 后端。
推荐理由:用可复现脚本逐层对比注意力各实现的 profiler 足迹,能帮读者建立先猜测再验证的调优习惯。
Photoroom 发布 PRX 系列第四篇博客,详解其图像生成模型 PRX 的预训练数据策略。数据管线混合公开与内部数据集,用 VLM 重写长标题,以 Lance 构建、MDS 流式训练,并采用 JPEG 质量 92 存储、感知哈希去重和基于标题的轻量过滤。作者对比了多个标题生成模型,最终选用 Qwen3-VL-8B,并分享了碎片化、跳过列表等工程经验。
推荐理由:Photoroom 公开了 PRX 图像模型预训练数据管线的完整设计,从数据源、重写标题到去重过滤,读者可据此复现或改进自己的数据流程。
Mistral 基于开源编码助手 Vibe 构建了一个自主智能体,自动为 Rails 代码库生成或改进 RSpec 测试,并在 CI/CD 中无人干预运行。它通过 AGENTS.md 提供分步执行计划、按文件类型拆分技能文件,并加入 RuboCop 和 SimpleCov 自定义工具强制验证。
推荐理由:原文给出了用 AGENTS.md、技能文件和自定义工具构建测试智能体的完整方法,读者可直接迁移到自己的项目。
Mistral AI 发布工程深度复盘,记录其在 vLLM 预填充/解码分离部署中排查内存泄漏的过程。问题表现为生产流量下系统内存以每分钟 400 MB 线性增长,最终通过 pmap、BPFtrace 和 GDB 定位到 UCX 的 mmap 钩子机制导致匿名内存区域持续增长。设置 UCX_MEM_MMAP_HOOK_MODE=none 即可解决,相关修复已合并进 vLLM 仓库。
推荐理由:Mistral AI 完整复盘了 vLLM 内存泄漏的排查链路,从 Heaptrack 到 BPFtrace 再到 GDB,读者可复用这套方法论定位依赖层隐藏问题。
Mistral 通过 LoRA 微调 Pixtral-12B,在 Aerial Image Dataset(AID)卫星图像分类任务上显著提升性能,解决了基座模型在密集住宅、体育场等模糊类别上的误判与幻觉问题。微调仅需提供正确标签作为助手响应,无需复杂超参数调优,可通过 Mistral 微调 API 或 LaPlateforme UI 启动。
Mistral 探讨如何用“LLM As A Judge”方法评估 RAG 系统,通过裁判模型按数值、二元或定性量表为生成答案打分。文章介绍了 RAG Triad 框架,从上下文相关性、接地性和答案相关性三个维度检查检索与生成质量。Mistral 的模型可同时充当生成器和裁判,其 API 的结构化输出功能可用于构建更可靠的评估流程。
Mistral AI 推出 TranscriptToPRDTicket 智能体工作流,由 Mistral Large 2 驱动,可自动将会议记录转化为产品需求文档(PRD)和开发任务,并直接创建到 Linear / Jira 等项目管理工具中。