> For the complete documentation index, see [llms.txt](https://doc.duaer.com/zh/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://doc.duaer.com/zh/guides/ai-metrics-dashboard.md).

# 2027 年 AI 指标看板：为什么多数成本与 ROI 视图会误导团队

本文整理自 Duaer 文档站，探讨企业 AI 指标看板为何常让团队误判成本与投资回报，并提出以决策为起点的指标树，以及按单位成果计算成本、同时关注质量的做法。

## 看板做完了，却没人信

过去一年里，大多数部署过 AI 工具的企业都有某种形式的看板。它展示 token 消耗量、请求次数、活跃用户数，也许还有平均响应时间。财务看到的是月度账单，运营看到的是使用量曲线，AI 团队看到的是一组模型指标。但当管理层问出一个简单的问题，比如「AI 项目到底有没有回报，下个季度要不要扩大投入？」，会议室往往陷入沉默。数据都有，却回答不了这个问题。

这正是人们寻找 AI 指标看板时的真实痛点。问题很少出在数据不足，而是看板衡量的是容易采集的东西（调用次数、token、登录数），而不是业务做决策真正需要的东西（每次完成任务的成本、返工率、为人员节省出的时间，以及输出是否可信）。当成本和回报都说不清楚时，预算会被冻结，试点永远停留在试点阶段，团队的精力也只能用来为数字辩护，而不是改进系统。

## 为什么 AI 指标比传统 IT 指标更难读

传统软件看板中，投入与产出之间的关系相对稳定。CRM 的许可证是固定成本，活跃座位数大致能反映价值的使用程度。AI 在三个方面有所不同。

第一，成本是可变的，并且分散在多个层面。你需要支付模型调用费用、检索基础设施、向量存储、数据准备、效果评估，以及审核输出的人力。如果看板只显示模型账单，就会系统性地低估真实成本。如果想更全面地了解应该纳入哪些项目，[企业 AI 落地成本：模型价格之外的那些账](https://doc.duaer.com/zh/guides/enterprise-ai-adoption-cost/)一文中的拆解，是了解团队最容易遗漏的成本类别的有用参考。

第二，使用量不等于价值。一个每月被调用一万次的工具，可能确实在节省时间，也可能在产出员工反复核对、修改、最终悄悄弃用的答案。两种情况下请求数都会上升。如果看板奖励的是调用量，它奖励的就是错误的行为。

第三，质量是概率性的。同一个工作流，在提示词修改或数据更新之后，可能周一成功、周五失败。如果没有与成本信号并列的质量信号，你就无法判断上升的支出是在买来更好的结果，还是只是买来了更多噪声。

## 常见错误：先做看板，后定义决策

大多数团队的起点是问「我们的工具能导出什么？」更好的问题是「这个看板每个月要支持哪个决策？」常见的决策包括：是否扩大某个应用场景，是否重新谈判供应商合同，是否暂停某个工作流进行复核，以及是否下线一个没人用的工具。

决策列出来之后，指标自然就跟上了。如果决策是扩大应用，你需要的是单位完成工作量的成本和返工率。如果决策是重新谈判供应商，你需要按模型、按团队、按工作流拆分的成本，以及用量趋势。缺少这种关联地去搭建看板，只会得到几十张在评审会上看起来很厉害、会后却什么也改变不了的图表。

第二个常见错误是把领先指标和滞后指标混在一起，又不加标注。采用率和使用量是领先信号：它们能及早告诉你人们是否在使用这个工具。单位成果成本和业务影响是滞后信号：它们出现得更晚，但更重要。好的看板会把两者放在不同的面板中，避免把一次健康的使用量高峰误当成回报的证明。

## 一棵有用的指标树是什么样

一个实用的结构是三层的指标树。顶层是单一应用场景的业务结果，例如「无需人工修正即完成处理的发票数」，或「首次联系即解决的支持工单数」。中间层是驱动该结果的因素：完成率、复核后的准确率、平均处理时长和升级率。底层是运营投入：调用次数、token、延迟、检索命中率和复核人工时。

这种结构迫使每张图表都要证明自己的位置。如果某个底层数字波动，而中间层没有任何指标随之变化，你就知道这个数字并不是真正的驱动因素。如果使用量持续攀升而顶层结果持平，这就是一个明确的警示。采用这种结构的团队通常会在几周内把看板砍掉一半，因为他们不再追踪那些与任何决策都无关的指标。

在回报这一侧，问题不只是「我们省了多少？」，还包括「基线是什么，又是如何衡量的？」[2027 年企业 AI ROI：为什么多数项目仍然看不到回报](https://doc.duaer.com/zh/guides/ai-roi-for-companies-2027/)一文解释了为什么基线不清晰，是财务部门最常驳回正面结果的原因。

## 按单位成果计成本，而不是按单次调用计成本；质量与信任放在同一屏

AI 指标看板上最有用的一个数字，是单位完成成果的成本。取某个工作流在一段时间内的总成本，包括模型用量、基础设施分摊，以及处理例外情况所花的复核人工时。再用它除以未经返工即被完成并验收的成果数量。这个数字建议每周追踪。

把它与所替代的非 AI 流程的成本做比较。你不需要完美的对比，只需要一致的对比。如果在验收率保持稳定的情况下单位成果成本下降，说明工作流正在变好。如果单位成果成本持平，而验收率下降，那说明系统是通过「做得更差」来变便宜的，这是一种危险的模式，而简单的 token 看板永远发现不了。

AI 质量指标常常被放在另一份由其他团队负责的报告里。这种割裂会带来麻烦：一张显示节省的成本图表，旁边是一张显示错误率上升的质量图表，很容易得出错误的结论。应该把它们放在一起。

有用的质量指标包括：抽样样本的人工验收率、需要编辑的输出比例、升级给资深复核人的数量，以及用户报告错误的比率。抽样很重要：每周复核一个固定的随机样本，比依赖碰巧收到的投诉更可靠。应明确样本规模和选取规则，让指标可以复现，而不取决于是谁碰巧去看了。

## 本周可以从哪里开始

本周最有价值的事情，不是购买新工具，而是选定一个已经在运行的 AI 工作流，写下三件事：它要产出的结果、依赖该结果的决策，以及会让你改变想法的那一个指标。然后调取该工作流过去四周的数据，手工计算每个验收成果的成本。这个练习很慢，而这正是它的意义所在。它会让你看清自己手里有哪些数据、缺少哪些数据，以及现有看板本可以避免多少争论。

计算方法稳定之后，就可以把它自动化。Duaer 这类平台在实际中可以帮上忙：你可以为单个工作流搭建指标树，在同一视图中连接成本和验收信号，并把决策问题附在图表上，使看板被当作决策工具来复盘，而不只是报表。计算本身并没有什么特别之处，价值来自于持续地去做，以及让质量与成本始终放在一起看。

如果你想在自己的某个工作流上试一试，可以访问 https://www.duaer.com 注册，先从一个应用场景开始，再逐步扩大。

简而言之：AI 指标看板的价值取决于它所支持的决策，而最重要的指标是单位验收成果的成本，并且要与质量一同解读，而不是单独看模型用量。

告诉我们你的业务场景，我们会回复一份书面的落地路线。https://api.duaer.com/form/c59a907a-3697-4edf-a04d-3ea0fb72fdc8

## 常见问题

### AI 指标看板应该先看哪个指标？

优先关注单位验收成果的成本，也就是某个工作流在一段时间内的总成本（包括模型用量、基础设施分摊和复核人工）除以未经返工即被验收的成果数。建议每周追踪，并与同一时期的质量指标（如验收率、需要编辑的比例）放在一起看，避免只看到成本下降而忽略产出变差。

### 只看 token 用量和调用次数为什么不够？

token 和调用次数只能反映工具被使用的程度，不能说明使用是否带来了价值。一个工具调用量很高，可能是在节省时间，也可能是员工在反复核对和修改错误答案。此外，真实成本还包括检索、存储、数据准备、评估和人工复核等多个层面，只看模型账单会低估总成本。

### 如何为 AI 项目的投资回报确定合理的基线？

基线应在项目上线前就确定，明确记录原有流程的成本、耗时和质量水平，并说明衡量方法。统一的口径和可复现的抽样规则比追求完美的对比更重要。基线不清晰是财务部门最常驳回正面结果的原因之一，因此在试点开始前就应与财务共同确认。

