跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

101条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 101–101 条 · 共 101 条
9月27日周三
  1. Cloudflare Blog · AI Gateway62

    Cloudflare 发布 AI Gateway 测试版,统一代理 OpenAI、Hugging Face 等模型 API

    Cloudflare 宣布推出 AI Gateway 测试版,它位于应用与 AI API 之间,提供响应缓存、请求限流与重试、用量分析等功能。开发者只需把 API 调用的 baseURL 替换为专属网关端点即可接入,目前支持 OpenAI、Hugging Face 和 Replicate,并支持响应流式传输。

    推荐理由:Cloudflare 官方发布 AI Gateway 测试版,开发者可据此了解统一接入多家模型 API 的缓存、限流与可观测性方案。