Token 计费怎么算:输入、输出、缓存三块账

一、算费用时最容易漏的三块

输入、输出、缓存。

大部分人只看单价,结果账单出来和估算差一倍。

二、输入 token 怎么增长

多轮对话里,每一轮都要把前面的内容再发一遍。

所以一个聊了二十轮的会话,后面几轮输入的 token 可能是前面的十倍。

这不是模型的问题,是设计问题。

三、输出 token 比输入贵

大多数平台输出单价是输入的两到四倍。

所以让模型“精简回答”不只是体验好,也是省钱。

四、缓存的价值

如果平台支持提示词缓存,固定不变的开头部分可以命中缓存,单价会降。

这就要求把固定内容放前面,变化内容放后面。

顺序错了,缓存就命不中。

五、一个简单的估算方法

```

单次成本 =

(系统提示词 + 历史 + 本次问题) × 输入单价

+ 回答长度 × 输出单价

```

再乘上日均调用量,就是账单。

四项里,最容易失控的是“历史”。

六、四个降本手段(按性价比排)

  1. 减少历史。只带最近几轮 + 摘要。
  1. 缩短系统提示词。把例子从十个减到三个。
  1. 控制输出。要求“不超过 300 字”。
  1. 换小模型。简单任务不给大模型。

四个都做,成本能降一半以上。

七、一个反直觉的发现

提示词写得长,不一定效果好,但一定更贵。

很多时候删掉一半例子,效果差不多。

八、一个建议

先算一笔再上线。

不估算就先上的项目,第一个月账单出来时往往很难接。

九、扩展阅读

想自己搭一套统计,基础的后端能力要有。

BackendWiki 的 Redis 专题里讲了计数与缓存,适合做调用量统计。