指南
大模型推理成本计算怎么做?2027年别只看token单价
本文整理自 Duaer 文档站,讲解如何把大模型的 token 计费逐层换算为单次调用成本、单件业务成本和月度总成本,并给出成本台账与质量指标的配套做法,帮助企业判断场景是否值得投入。
开篇
很多团队第一次认真算大模型成本,是在财务把月度账单打印出来之后。账单上的数字往往比预期高出一截,于是大家开始怀疑:是单价谈贵了,模型选错了,还是业务量超预期?真正的问题通常更朴素:没有人把「一次调用多少钱」和「一个业务结果多少钱」算清楚。推理成本计算,本质上就是把模型的计费单位,逐层换算成业务单位。
为什么这件事比想象中难
第一,计费单位和业务单位不一致。模型厂商按 token 计费,业务部门关心的是每张工单、每份合同、每次客户问答。中间隔着提示词模板、检索上下文、多轮对话和工具调用,任何一环都会放大 token 数。
第二,输入和输出的价格不对称。输出 token 通常比输入贵,但很多人只盯着一个「每百万 token 价格」,忽略了两者的比例。一个把长文档整篇塞进上下文、只输出几十字结论的任务,和一个短输入、长生成的任务,成本结构完全不同。
第三,隐性消耗多。系统提示词每次都会计入输入;推理型模型的思考过程可能计入输出;失败重试、超时重发都是真实花出去的钱。
第四,流量是动态的。试点时每天几百次调用,推广后可能增长到几十万次。单次成本即使不变,总成本也会跟着业务节奏波动。
常见误区
误区一:只拿价目表做乘法。单价乘以预估 token 数,得到一个很漂亮的数字,但预估值往往基于少量测试样本,和生产环境的真实分布差距很大。
误区二:用平均值代表全部。平均每次 2000 token 看起来没问题,但如果少数长文档请求占了总量的一小部分,它们可能贡献了大半 token 消耗。成本分析要看分布,而不是均值。
误区三:把模型选择等同于成本优化。换一个单价更低的模型,如果导致人工复核增加、重试率上升,总成本反而更高。只看推理单价,容易得出错误结论。关于整体投入的口径,可以参考企业AI落地成本怎么算?别只盯着模型报价。
误区四:降成本时不看质量。常见的降本手段是缩短上下文、减少检索片段、限制输出长度,这些都可能影响答案质量。没有质量指标配合,省下的钱可能是用准确率换来的。
怎么做才对:三层拆解法
第一层,单次调用成本。公式很简单:
单次成本 = 输入 token × 输入单价 + 输出 token × 输出单价 + 工具调用等附加费用
关键在于输入 token 要用真实日志统计,包括系统提示词、检索片段和历史对话。建议按任务类型分别统计,而不是全局平均。
举个假设性的例子(数字仅用于演算,并非任何厂商的报价):某个客服摘要任务,系统提示词约 800 token,检索上下文约 3000 token,用户输入约 500 token,输出约 300 token。假设输入单价为每百万 token 1 元、输出为每百万 token 4 元,单次成本其实很小,但如果日调用 20 万次,月度成本就很可观。这说明单次数字要放大到业务规模才有意义,而检索上下文往往是最大的可压缩项。如果未来考虑自建推理,显卡与运维的口径又不同,可以另参考大模型私有化部署成本怎么算?别只盯着显卡报价。
第二层,单个业务结果的成本。把调用次数映射到业务单元:
单件业务成本 = 每件业务的调用次数 × 单次成本 × (1 + 重试率) + 人工复核成本
如果一张工单平均要调用 3 次模型,分别做分类、摘要和回复草稿,这三次都要计入。人工复核成本经常被遗漏,但它往往比 token 费用高得多。这一层的价值在于回答「这个场景值不值得做」,而不是「模型贵不贵」。
第三层,月度总量与敏感性。把单件成本乘以业务量,再做敏感性分析:上下文长度增加一半,成本如何变化?缓存命中率提高,能省下多少?把其中一部分简单请求切换到小模型,总成本怎样?敏感性分析的目的是找到杠杆,而不是追求一个精确数字。
怎么衡量:让数字能被复核
建议每个场景建立一张成本台账,至少包含:任务类型、模型版本、日均调用量、输入和输出 token 的中位数与高位值(P50、P95)、重试率、缓存命中率、单件业务成本,以及对应的质量指标,比如人工采纳率或错误率。
有两点特别容易被忽视。其一,要用真实流量抽样,上线前和上线后各抽取几百条请求做统计,而不是只看测试集。其二,每次调整模型版本或提示词之后,都要重新跑一遍台账。很多成本上涨并不是因为价格变了,而是某次提示词改动悄悄让输出长了一倍。
如果你希望把日志采样、成本测算和质量指标放在同一个流程里跑,也可以直接在 Duaer 里搭建这套台账,减少在多个表格之间搬数据的时间:https://www.duaer.com
行动建议
本周可以做一件具体的事:从生产日志里挑出调用量最大的一个高频任务,抽取 200 条请求,统计输入和输出 token 的 P50 与 P95,算出它的单件业务成本,再和一个质量指标放在同一张表里看。这一步做完,你就知道成本主要花在哪里,下一步该压缩上下文、优化缓存,还是调整模型分工。
推理成本的计算没有一次性的答案,它是一个需要随业务持续复核的台账。把单次成本、单件成本和质量指标连在一起看,才能让成本数字真正指导决策。
如果你已经有一个想先测算的具体场景,欢迎到 https://www.duaer.com 注册试用,把第一版台账跑起来,再和团队一起对照讨论。
我们可以免费给你一份这个场景的落地路线。告诉我们你的业务场景,我们会把对应的成本测算思路和落地步骤整理成书面路线发给你。
https://api.duaer.com/form/1fea7709-3f8a-47f7-b4e3-eb5fb90e3213
常见问题
大模型推理成本应该怎么计算?
可以分三层计算:先算单次调用成本,即输入 token 乘以输入单价,加上输出 token 乘以输出单价,再加上工具调用等附加费用;然后把调用次数映射到单件业务结果,并计入重试率和人工复核成本;最后乘以业务量并做敏感性分析。输入 token 应基于真实生产日志统计,并按任务类型分别计算。
为什么大模型的月度账单比预期高很多?
常见原因包括:系统提示词每次都计入输入,检索上下文和多轮对话放大了 token 数,推理型模型的思考过程可能计入输出,失败重试和超时重发也会产生费用。另外,测算时常用少量测试样本的平均值,而生产环境中少数长请求可能占了大部分消耗。
降低大模型推理成本会不会影响回答质量?
可能会。缩短上下文、减少检索片段、限制输出长度等常见降本手段,都可能影响答案准确性。因此降本时应同步跟踪人工采纳率、错误率等质量指标,每次调整模型版本或提示词后重新核对成本台账,避免省下的费用是以质量下降换来的。