AWS Machine Learning Blog· Claudio Mazzoni·· 3 小时前AI 评分48
AI 智能体的“土拨鼠之日”：在 Amazon Bedrock 上使用 OpenAI 模型的提示词缓存模式
Groundhog Day for AI agents: Prompt caching patterns for using OpenAI models on Amazon Bedrock
AI 导读
在 Amazon Bedrock 上调用 OpenAI 模型时，提示词缓存可让智能体复用已处理的工具列表、指令和历史上下文，避免每轮重复计费。缓存分隐式（Bedrock 自动选择可复用前缀）和显式（用 prompt_cache_breakpoint 标记边界）两种，可组合使用；可复用前缀需达到 1,024 tokens。
来源：AWS Machine Learning Blog · aws.amazon.com