第一章 · 基础认知：Token 计费模型与成本从哪里来

第一章 · 基础认知：Token 计费模型与成本从哪里来

导读：很多人第一次看到大模型账单时的反应是「怎么这么贵」。但真正的问题往往不是模型定价高，而是我们根本没搞清楚「钱到底花在了哪一类调用上」。本章不从架构讲起，而是先把账算明白——在动手做任何缓存和路由优化之前，你必须先建立对 Token 计费的正确直觉。没有这层认知，后面所有的优化都会变成「凭感觉省钱」，既说不清省了多少，也说不清为什么省。

为什么这一章必须第一个读

我见过太多团队在成本失控后才慌忙上缓存，结果要么缓存了不该缓存的（隐私、强实时数据），要么漏掉了最该缓存的（高频重复提示词模板）。根因都是同一件事：对计费模型一知半解，对「成本结构」没有拆解。

本章的目的，是把「大模型成本」这个黑盒拆成你能直接干预的变量。读完你应该能回答三个问题：

• 同样一次对话，为什么有时花 10 个 Token、有时花 1000 个？
• 输入 Token、输出 Token、缓存命中 Token，价格为什么天差地别？
• 为什么有的业务「调用量没涨、账单却翻倍」？

本章三节地图

• 1.1 大模型 Token 到底怎么计费：从输入、输出、缓存命中三类计费单位讲起，用真实单价告诉你看懂账单的第一步。
• 1.2 为什么同样的业务，成本能差 10 倍：拆解调用模式、重复请求和冗余生成三类「隐形成本放大器」。
• 1.3 缓存与路由：两种降本思路的本质区别：澄清一个常见误解——缓存和路由不是二选一，而是分别解决「相同请求」和「不同请求」两类问题。

一个先抛给你的问题

假设你的客服机器人每天处理 5 万次咨询，其中有 40% 是「怎么退款」「营业时间」「运费多少」这类高度重复的问题。如果每次都完整调用一次大模型，和把这类答案缓存下来复用，一年下来的账单差距可能是一个数量级。但「缓存」二字背后，藏着精确缓存、语义缓存、失效策略、命中率评估等一系列决策——这些正是后续章节的主角。

读这一章时，建议你随手打开自己业务的账单，对照着看每一类 Token 的占比。认知一旦建立，后面第四章的实战案例你会读得格外痛快。

下一章我们不再停留在「算账」，而是动手搭一套真正能落地的请求缓存层与智能路由。那是降本真正发生的地方。