Duaer

指南

2027 年 LLM 推理每 Token 成本:为什么价目表会误导你

本文整理自 Duaer 文档站,说明为什么价目表上的每 Token 价格不等于企业的真实单位成本,并介绍如何基于自身流量计算每个已接受结果的成本。

价目表上的数字不是你的单位成本

大多数团队第一次接触 LLM 推理每 Token 成本,是在采购会议上。供应商给出每百万输入 Token 和每百万输出 Token 的价格,财务负责人用预估的月用量去除,项目就有了预算。三个月后,账单可能是预估的两到三倍;或者功能确实能用,却没人说得清它是否值得这笔投入。问题通常不在标价本身,而在团队衡量的对象错了。每 Token 价格是成本的一个输入项,而不是成本本身。

本文解释这种差距从何而来,如何计算能反映真实流量的每 Token 成本,以及如何把这个数字与业务结果挂钩。如果你还在为企业采用 AI 的总预算做测算,可以参考我们的指南:如何在模型定价之外计算企业 AI 采用成本。这里我们只聚焦单位成本本身。

为什么标价很少等于你的实际支出

有效的每 Token 成本至少受四个因素影响,而价目表并不会展示这些因素。

第一,输入和输出 Token 的定价不同,而你的业务中两者的比例往往与供应商在演示中设想的不一样。检索增强系统通常发送很长的上下文、返回很短的回答,因此输入占主导;而会做规划、调用工具并汇总结果的智能体,产生的输出可能远多于普通聊天助手。按 1:1 比例算出的混合单价,可能在任一方向上出现偏差。

第二,上下文会悄悄增长。一个起初只有几百 Token 的提示模板,会在几个月里逐渐加入系统指令、合规文本、检索到的段落和对话历史。没有人决定让提示词翻倍,它只是不断累积。每增加一个模块,每次调用的成本都会上升,除非你记录了每次请求的 Token 数,否则这种增长几乎看不见。

第三,有些模型会消耗你看不到的 Token。具备推理能力的模型可能在给出可见答案之前生成内部 Token,这些 Token 通常按输出计费。单价便宜,并不代表答案便宜。

第四,重试和降级会放大调用次数。一次 JSON 解析失败、一次超时,或一个要求模型重新作答的校验步骤,都会消耗 Token。一个成功结果的真实成本,是导致它的所有尝试之和。

用自己的流量计算每 Token 成本,而不是套用基准数据

可用的计算方法必须从真实日志出发。对于基于 API 的模型,基本公式如下:

单次请求成本 =(输入 Token 数 × 输入单价)+(输出 Token 数 × 输出单价),对所有调用求和,包括重试和工具调用轮次。

然后,针对每个工作流,使用日志中的真实 Token 构成而非供应商示例,计算每 1,000 Token 的混合成本。请按功能分别计算,因为摘要任务和面向客户的聊天行为完全不同。若在全公司范围内取平均,就会掩盖钱究竟花在哪里。

对于自部署模型,计算方式有所不同。每 Token 成本大致等于加速卡及配套基础设施的小时成本,除以该小时内实际产出的 Token 数。关键词是「实际」。如果流量呈突发性,GPU 利用率很低,那么即使硬件纸面价格便宜,每个 Token 的成本也会很高。批处理大小、并发数和请求长度都会影响这个数字。如果团队在没有建模利用率的情况下,就把 API 的每 Token 价格和 GPU 租赁报价放在一起比较,那实际上是在比较两件不同的事情。私有化部署大模型的成本拆解说明了,在做公平比较之前,硬件报价需要先换算成运营口径的数字。

推高单位成本的常见错误

第一个错误是只在模型边界计量 Token,而没有在应用边界计量。你的应用可能还会增加系统提示词、检索步骤和格式转换调用。对业务而言,真正重要的只是这些环节的总和。

第二个错误是只优化每 Token 价格,却忽略了每项任务消耗的 Token 数。换用更便宜的模型,如果需要多两轮才能得到同样的答案,总成本反而可能更高。应当比较的是每个成功任务的成本,而不是每次调用的成本。

第三个错误是把缓存当成免费的福利。对于系统提示词稳定的工作负载,提示词缓存和重复前缀复用确实能显著降低成本,但前提是提示词结构保持稳定。如果调整了指令顺序,或在开头插入了时间戳,就可能在无人察觉的情况下让缓存收益消失。

第四个错误是忘记了评估所消耗的 Token。运行回归测试、使用 LLM 作为评判者打分,以及影子流量,都会消耗 Token。在成熟的团队里,这可能是一笔不小的开支,而且往往不在最初的预算里。

把单位成本与业务结果挂钩,并建立简单的衡量闭环

如果不与业务真正看重的结果挂钩,每 Token 成本就没有意义。请为每个工作流选定一个结果指标:例如一张已解决的支持工单、一条被标记待审的合同条款、一篇已发布的产品描述,或一份被审核人员接受的文档摘要。然后计算每个结果的成本,包括重试、相关的人工审核时间,以及被驳回输出的比例。

这一步常常让试点项目暴露其真实的经济账。一个单次调用成本很低的功能,如果一半输出都需要返工,仍然可能亏损。反过来,一个更贵的模型如果能省掉一个审核环节,反而可能是更便宜的选择。因此,应当追踪的单位是「每个被接受结果的成本」,而每 Token 成本只是其中一个组成部分。

你不需要大型平台也可以开始。对于每一次模型调用,记录工作流名称、模型、输入 Token 数、输出 Token 数、是否为重试,以及结果是否被接受。每周汇总一次,重点看三个数字:每个被接受结果的成本、输入与输出的平均比例,以及重试所占的支出比例。当其中任何一个数字出现明显波动时,先排查提示词、检索步骤或路由逻辑,再去责怪模型供应商。

为每个工作流设定阈值,并提前决定触发后怎么办。可选的做法包括:缩短上下文、把简单请求路由给更小的模型、缓存稳定的前缀,或直接暂停该功能。提前约定好的应对方案,可以避免「发现账单、争论一番、然后一个季度什么都不做」的常见局面。

本周可以做什么

选择一个已经在运行的 AI 功能。导出 30 天的请求日志,或向平台团队索取 Token 统计。计算该功能每 1,000 Token 的混合成本,然后用每月总支出除以被接受的结果数量。把这两个数字写在一页纸上,并与供应商的标价放在一起。两者之间的差距,就是之后所有优化决策的起点。

如果你不想手动搭建这套日志与报表,可以在 Duaer(https://www.duaer.com)中配置该工作流,按工作流整理用量追踪,并将结果层面的成本并排查看。这是保持衡量闭环运转的实用方式,但它无法替代你的业务究竟看重哪些结果这一判断。注册 https://www.duaer.com ,即可用你自己的一个工作流进行试用。

如果你告诉我们你最想先衡量哪个工作流,我们可以为其提供一份书面的落地路线,内容包括如何为调用加装监测、应当报告哪些指标,以及成本通常隐藏在哪些地方。

https://api.duaer.com/form/c59a907a-3697-4edf-a04d-3ea0fb72fdc8

每 Token 价格告诉你供应商收取多少钱;每个被接受结果的成本告诉你企业实际付出多少。决定一个 AI 功能能否保留预算的,应当是后者。

常见问题

如何计算企业 LLM 推理的每 Token 成本?

基于真实请求日志计算。对每次调用,用输入 Token 数乘以输入单价,加上输出 Token 数乘以输出单价,并对所有调用求和,包括重试和工具调用轮次。再按功能分别计算每 1,000 Token 的混合成本,避免用全公司的平均值掩盖真实的成本分布。

为什么 API 账单经常比预算高出很多?

常见原因包括:输入与输出的实际比例与预估不符;提示词上下文随时间不断累积;推理模型生成的内部 Token 被按输出计费;失败请求、超时和校验重试导致调用次数增加;评估和回归测试消耗的 Token 未被纳入预算。逐次记录 Token 数是定位原因的基础。

自部署模型的每 Token 成本应该怎么算?

大致等于加速卡及相关基础设施的小时成本,除以该小时内实际产出的 Token 数。由于利用率直接影响结果,如果业务流量是突发性的,应当按实际利用率建模,而不是直接用硬件的理论吞吐量。只有把 API 报价与换算后的自部署运营成本放在同一口径下比较,才算公平。