Prompt Caching 到底省多少钱:我模拟了三种对话,结果差了三倍

我给一个长文档问答的应用调账,看到每一轮请求都在重复传同一份 6000 token 的文档。有人提醒我开 prompt caching,说能「便宜十倍」。这话听着很诱人,但我一直是那种要先看到数字才肯信的人——十倍是哪种场景?我的场景能省多少?问了一圈没得到靠谱答案,决定自己跑一遍。

本来以为这会是一篇很短的验证:开缓存、对比账单、贴个比例完事。第一版结果出来我就知道想简单了——三种看起来都「适合缓存」的场景,省下来的钱差了三倍,其中一种只省了两成。更反直觉的是 TTL:同一份文档连续问答,缓存有效期设 1 轮和设 20 轮,结果完全一样。

下面这套模拟我先用本机跑出了结果再写结论。参数、计价、随机种子全部贴在文中,你可以把自己的 token 数换进去重跑一遍。

一、先把实验模型说清楚

用 Python 3.13 写了个离散事件模拟,不发起真实 API 调用,所以 20 轮对话几毫秒就跑完。之所以用模拟而不是真打接口,是因为真实账单里混着网络重试、不同模型、缓存预热等多种因素,两组实验没法公平对比;模拟能把变量锁死,只改「开不开缓存」和「对话模式」这两项。

三种模式覆盖了最常见的情况:

  • 同一长文档反复问答:system(2000) + 文档(6000) 恒定前缀,每轮只追加 100 token 的问题。这是 RAG 应用最典型的形态。
  • 每 3 轮换一份文档:前缀里的文档 id 变一次,前缀就变一次,缓存随之失效。模拟「用户在多个文档间切换」。
  • 普通多轮对话:前缀只有 system,历史对话每轮累加进「新内容」。模拟不带文档的聊天机器人。

计价按公开的量级假设(每百万 token):普通输入 3.00 美元、输出 15.00 美元、缓存写入 3.75 美元(约 1.25 倍)、缓存读取 0.30 美元(约 0.1 倍)。这些数字只用于相对比较,不是任何厂商的精确报价——具体价格请以你用的服务商当日公示为准。缓存有效期设为 5 轮,随机种子固定 20261120。

计价最容易写错的地方是分三段算,而不是拿总数乘一个折扣:

# 三段分别计价,漏一段就会算出负成本
cost = (cache_write_tokens / 1e6 * PRICE_CACHE_WRITE   # 未命中:写缓存
        + cache_read_tokens  / 1e6 * PRICE_CACHE_READ   # 命中:读缓存
        + total_new          / 1e6 * PRICE_INPUT        # 每轮新问题/新历史
        + total_output       / 1e6 * PRICE_OUTPUT)      # 输出

# 我自己第一版就错在这:把「写入 token」写成 total_input - cache_read_tokens,
# 而 total_input 已经含了每轮新内容,重复扣减直接算出负成本。

二、三种模式跑出来的数

对话模式无缓存成本开缓存成本命中读缓存 token节省
同一长文档反复问答$0.5760$0.171619/2015200070.2%
每 3 轮换一份文档$0.5960$0.347313/2010831041.7%
普通多轮对话(历史累加)$0.4440$0.342919/203800022.8%

三种场景省下的比例差了三倍。决定因素不是「开了没开缓存」,而是前缀有多大、以及前缀有多稳定。

第一种最划算:前缀 8000 token 几乎每轮都能命中,而每轮新增的只有 100 token 的问题。省下来的正是那 8000 token 从「普通输入价」降到「缓存读取价」的差额。第二种打了个折扣:文档每三轮一换,20 轮里只命中 13 次,剩下的 7 次要重新写缓存——写入价比普通输入还贵 25%,等于反复交「重新入场费」。第三种命中率其实也很高(19/20),但前缀只有 system 的 2000 token,可省的绝对量本来就小,大部分成本花在逐轮累积的历史和输出上,缓存够不着。

所以「便宜十倍」那句话,只在第一种场景下勉强接近;放到普通多轮对话,连四分之一都省不到。这不是缓存不好用,是它被用在了不该用的地方。

三、决定命中率的是前缀稳定,不是 TTL

我原本以为命中率主要受缓存有效期影响,于是扫了 TTL,结果出乎意料——同一文档连续问答,TTL 从 1 轮一路加到 20 轮,命中数和成本纹丝不动。

TTL(轮)命中命中率缓存写入次数成本
00/200.0%20$0.6960
119/2095.0%1$0.1716
219/2095.0%1$0.1716
519/2095.0%1$0.1716
1019/2095.0%1$0.1716
2019/2095.0%1$0.1716

原因很简单:连续问答时每轮都用同一前缀,两次请求之间只隔 1 轮,TTL 只要大于等于 1 就永远不过期。TTL 从 1 加到 20 毫无意义,因为缓存根本没机会「老」到那个程度。真正让命中率掉下来的,是前缀本身变了——比如第二种模式里那份每三轮一换的文档。

这给我一个很实用的判断:如果你在纠结 TTL 该设多少,先看看你的前缀到底稳不稳定。 前缀每个请求都在变(比如把时间戳、随机 id、用户动态状态塞进 system prompt),TTL 设到天也不会命中;前缀稳定,TTL 设 1 轮就够连续对话用。Anthropic 在 Prompt Caching 官方文档里也强调,缓存命中要求前缀逐字一致——「稳定且长」的前缀才是收益来源。

四、什么时候不该开缓存

这组数据还给出几条「别开」的判断,比「什么时候开」更有用:

  • 前缀很短时别开。 第三种模式命中率 95%,只省 22.8%——因为可缓存的只有 2000 token 的 system,其余都是逐轮变化的历史和输出。为这点收益引入缓存逻辑、处理命中失败的边界,不划算。
  • 文档频繁轮换时谨慎开。 写入价比普通输入贵 25%,如果你每轮都换前缀,等于每轮都按更贵的价写入,缓存从省钱变成加钱。第二种模式还能省,是因为三轮才换一次。
  • 输出占大头时别指望缓存。 本模拟里输出固定 300 token、按 15 美元计价,三种模式的输出成本都一样,缓存一分钱都省不下来。如果你做的是长文生成,成本主力在输出,优化缓存是抓错了地方。

这里要提醒一句:上面三条是基于本模拟的参数推出来的,不是通用铁律。如果你的服务商缓存读取价不是输入价的 0.1 倍,或者你的前缀有几万 token,结论会变。正确的做法是把自己的参数代进脚本重跑,而不是抄我的比例。

五、TTFT 那个容易被忽略的收益

成本之外,缓存还有一项收益在上表里完全没体现:首 token 延迟(TTFT)。命中缓存时,服务商不用重新处理那一段前缀,响应时间会明显缩短——对聊天应用来说,这比省几分钱更能改善体验。

我的模拟没有建模 TTFT,因为它依赖实际的请求调度、队列长度、网络状况,这些在纯本地模拟里没有对应物。所以这篇文章能证明的只是「成本」这一维,不能拿它去承诺延迟改善。如果你关心 TTFT,需要拿真实请求做 A/B——这也是我下一步打算做的。

AWS 在 关于 Prompt Caching 的博客里同时提到成本与延迟两方面的收益,但明确说明效果取决于工作负载——和我这次模拟的结论方向一致。方法上,这跟我之前做《429 限流下重试到底省了什么》是同一套:先把能锁死的变量锁死,让数字说话,再决定要不要改。

六、把前缀设计成可缓存的,代码上要注意什么

最后落到工程。缓存是按前缀逐字匹配的,所以「前缀稳定」不是一句口号,得在代码里保证:

  • 把不变的东西放前面,变的放后面。 system prompt、工具定义、长文档放最前;用户当前问题、会话 id、时间戳放最后。一旦把时间戳塞进 system,整个前缀每次都变,缓存全废。
  • 前缀要足够长才有意义。 各家的缓存都有最小 token 门槛(几百到几千不等,见各家文档),太短的前缀够不着门槛。这也是第三种模式收益低的原因之一。
  • 用哈希核对前缀是不是真的稳定。 我调试时把每次请求的前缀算了 md5,才发现有一处动态字段混进了 system。这类问题肉眼看 prompt 很难发现,哈希一对比就露馅。
  • 命中失败要能观测。 把 cache_hit / cache_miss 记进日志,和成本一样的粒度去看。不然「开了缓存但没省钱」这种事,你会一个月后看账单才发现。

这些做法和我在《Embedding 与向量库入门》里讲的那套「先搞清数据怎么流,再谈优化」是一个思路:优化从来不是加个开关,而是先理解系统,再找到真正该动的那一行。

七、这组数字的边界

  • 这是离散事件模拟,不是真实账单。 没有网络重试、没有缓存预热的阶梯价、没有不同模型的差异,也不能证明 TTFT 收益。参数是我设的,扫描只说明结论对该参数不敏感。
  • 计价是量级假设,不是报价。 0.1 倍读取价、1.25 倍写入价来自公开的量级,各家实际不同,请以服务商当日公示为准,别把文中的美元数当成你的账单预测。
  • TTL 模型做了简化。 真实缓存的过期、逐出、容量限制比「超过 N 轮失效」复杂得多,这里只用它说明「前缀稳定比 TTL 重要」这个方向。
  • 只锁死了三种模式。 没覆盖多用户高并发下的缓存隔离、缓存容量争用、以及多租户场景,这些在真实服务里都会影响命中率。
  • 可复现性已校验。 同参数跑三次,三种模式的成本稳定,最终 md5 为 08a074808288691976bd74f8fe68dd6b,没有漂移。

回头看这次验证,最大的收获不是「缓存能省钱」这个人人都知道的结论,而是发现「省多少」完全取决于场景——同一个开关,在三种模式下省的钱差三倍。如果我只听那句「便宜十倍」就上线,很可能在一个只省 22% 的场景里,花了远超收益的工程成本。方法上和我在《PHP 按字节处理中文的静默故障》里写的一样:先让数字说话,再决定要不要改。如果你也在纠结要不要开 prompt caching,花十分钟把自己的 token 数换进脚本跑一遍,比看 ten 篇教程都管用。

相关推荐

评论(0)
发表评论
▾
安卓、IOS免费上传工具
推荐
安卓、IOS免费上传工具
拖拽上传 IPA 文件,自动解析 Bundle ID、版本号、签名信息、备案公钥等
了解详情 ›
广告