大模型提示词缓存怎么收费?缓存读取、写入与命中率

缓存是否省钱,取决于实际命中的 Token、读取单价、写入费用和有效期。不要把全部输入都按缓存读取价计算。

先分清三种输入用量

普通输入、缓存读取和缓存写入可能采用不同单价。供应商可能自动缓存,也可能要求显式创建缓存;有的单列写入费用,有的还按存储时长收费。本站把来源明确给出的计费项分别列出,未提供写入报价不能解释为写入免费。

检查 usage 字段的定义:cached tokens 可能是总 input tokens 的子集。若总输入已经包含命中部分,普通输入应先减去已计入缓存读取的 Token;不要对同一批 Token 同时收取普通输入和缓存读取费用。

一个可以手算的命中示例

假设一次请求总输入 10,000 Token,其中 8,000 Token 命中缓存。普通输入单价假设为每百万 Token 2 元,缓存读取单价假设为每百万 Token 0.2 元,则本次输入费用为 2,000 ÷ 1,000,000 × 2 + 8,000 ÷ 1,000,000 × 0.2 = 0.0056 元。未命中时输入费用为 0.02 元。

这只是读取费用的教学示例,不对应任何模型报价;输出费用、首次写入、缓存存储及失效后的重新建立应另算。只有在供应商实际返回命中记录时,才能按命中部分使用读取单价。

为什么相似的问题不一定命中?

缓存规则可能涉及前缀匹配、最小 Token 数、模型版本、保留时长和请求格式。语义相似不等于可复用同一段缓存,修改指令或上下文也可能改变匹配结果。具体规则应查看所用 API 的官方文档。

可以用真实业务请求观察命中率与费用,把经常重复且格式稳定的上下文作为验证对象。不要为了提高命中率省略本来需要更新的数据;成本优化应同时检查结果是否仍正确。

怎样判断写入成本能否回本?

以同一工作负载计算不使用缓存时的总费用,再计算缓存方案的总费用:未命中输入 + 读取 + 写入 + 存储 + 输出。只有重复读取带来的节省超过建立与保留缓存的增量成本,才有成本收益。

如果不了解实际命中率,先分别计算零命中和预期命中两种情况。本站模型详情展示已观察的缓存计费项和条件;缺少某一项时,应回到官方说明核对,而不是补出一个假设的免费价格。

把缓存写入费用也算进去

教学假设:普通输入2元/百万,缓存读取0.2元/百万,首次写入增量费用3元/百万。100次请求,每次输入10000 Token,其中8000可复用:无缓存2元;缓存方案普通输入0.4元+读取0.1584元(99次)+首次普通输入0.016元+写入增量0.024元,共0.5984元,另加输出和供应商可能收取的存储费。写入如何计价以官方定义为准。

查报价,继续计算