> For the complete documentation index, see [llms.txt](https://doc.duaer.com/zh/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://doc.duaer.com/zh/guides/mlops-monitoring.md).

# 2027年MLOps监控：模型为何会在生产中悄无声息地失效

本文整理自 Duaer 文档站，围绕企业 AI 落地中的 MLOps 监控，说明模型为何会在生产中悄无声息地失效，并给出系统、数据、模型与结果三层监控思路、告警设计方法以及本周可执行的起步步骤。

## 为什么ML监控比软件监控更难

多数团队在模型上线时会庆祝一下，但更难的问题往往出现在几周之后：模型是否仍在完成它被设计的工作？在许多企业里，MLOps监控是最后才补上的环节，甚至根本没有补上。结果是模型持续给出自信的答案，而输入、用户和上游数据已经偏离了训练时的状况，直到业务指标下跌，大家才察觉。

传统软件通常会大声失败：服务返回500错误、队列堆积或页面超时。机器学习模型则往往悄无声息地失败。它照常返回一个数字或一段文字，格式正确，延迟正常，输出看上去也合理，基础设施面板上却没有任何红色告警。

有几个因素让情况更糟：特征管道依赖的上游系统可能在没有任何提醒的情况下修改数据结构；真实结果（ground truth）经常延迟到达，一笔信贷决策或一次需求预测是否正确，可能要几周甚至几个月后才能知道；用户行为也会因促销、法规变化或季节性高峰而转变。这些变化都会让数据偏离训练分布，而模型本身没有内置的方式告诉你这一点。

因此，模型的健康状况不能只看可用性（uptime）。你需要分别监控系统、数据和结果三类信号，而且要在第一次事故之前就建立起来，而不是事后补救。

## 常见误区

企业团队中反复出现几种误解。

第一种是把可用性和延迟当作模型健康度。一个快速、稳定运行的模型也可能输出严重错误的结果。基础设施监控是必要的，但它回答的是另一个问题。

第二种是只监控输入。团队对特征计算漂移统计，就觉得已经覆盖了风险。但特征可能漂移却不影响预测，预测也可能在输入看似稳定时发生变化，例如下游业务规则调整了。因此，输出分布和输入分布同样重要。

第三种是在没有标签之前什么都不做。由于真实结果反馈较慢，有些团队认为监控「暂时无法做到」。实际上，可以先从代理信号入手：预测分布、拒绝率、人工覆盖（override）率和用户反馈。这些信号并不完美，但能提供早期预警。

第四种是做了没有负责人的仪表盘。没有人负责阅读的图表只是装饰。每个指标都需要明确的责任人，知道异常值意味着什么，以及他们会采取什么行动。

## 监控什么：三层协同工作

一个可行的设计会把监控分为三层。

系统层覆盖延迟、错误率、吞吐量、资源消耗以及每次预测的成本。对于大语言模型的工作负载，还应加上token用量和单次请求成本，因为提示词一改，这些指标可能在没有任何可见故障的情况下大幅上升。

数据层覆盖模式（schema）校验、缺失值比例、取值范围检查，以及与参考窗口的分布对比。参考窗口要审慎选择：训练集是一个起点，但近期稳定的生产时段往往更有参考价值。应检查驱动模型的前几个关键特征，而不是每一列，这样告警才有意义。

模型与结果层覆盖预测分布、置信度模式，以及标签到达后的实际质量指标。对于生成式系统，这一层还包括护栏触发率、检索命中质量、抽样人工评审分数和用户反馈。关键是把技术信号和业务后果连接起来。例如，平均预测置信度下降，若同时伴随人工修正增多，才最需要关注。

## 让告警真正有人处理

许多监控项目失败，是因为告警太多。当每个微小波动都会呼叫某人时，团队会学会忽略这个通道，唯一一次真实事故就会淹没在噪音中。

基线应来自观测到的历史数据，而不是默认值。对于对数量敏感的指标使用相对变化，对分布使用统计检验，并接受某些漂移属于正常的季节性波动。告警应分级：警告可以发到共享频道，在下一个工作日审查；严重告警，例如模式断裂或核心质量指标急剧下降，则应触发明确定义的响应流程。

每条告警都需要一份简短的运行手册（runbook）：这个信号代表什么，由谁负责，首先检查什么，以及何时回滚、暂停或重新训练。没有运行手册的告警，还不适合上生产。

## 把监控接入交付流水线

监控最常在数据科学团队和运维团队的交接处出问题。模型在一个环境中训练，由另一套流程部署，却没有人特别负责盯着它。这也是看似成功的试点项目难以进入生产的原因之一。我们在关于如何把AI试点推向生产的分析中，已经讨论过集成层面的这一缺口。

更好的做法是把监控视为部署路径的一部分。每次预测都应记录模型版本、特征快照或其哈希值、时间戳，以及下游采取的任何动作。不同模型之间使用统一的事件结构，这样同一个仪表盘就能横向比较。标签应带有关联键存储，以便将延迟到达的真实结果匹配回原始预测。

重新训练应由证据触发、由人来把关。基于漂移的自动触发可能会用受损数据重新训练模型。应把触发事件路由给审核人，用留出的评估集检验新候选模型，只有在获得签批后才能上线。

如果团队仍在手工拼接日志、笔记本和告警脚本，共享平台可以减少这些摩擦。Duaer（https://www.duaer.com）是一个可以端到端运行这类监控流程的地方，你可以先用自己的模型测试日志、告警和审核环节，再决定推进到什么程度。它不能替代上述的责任归属决策，但可以把这些环节集中在一处。

## 衡量监控是否有效，以及本周可以做什么

监控本身也是一个系统，因此需要自己的指标。有用的包括：从问题出现到团队发现之间的时间；由监控而非业务用户报告的事故占比；能够引发实际行动的告警比例；以及从告警到做出决策的时间。如果大多数告警都是无行动关闭，说明阈值设错了；如果事故大多由用户报告，说明信号缺少了正确的层次。

在质量方面，应维护一个反映当前生产流量的带标签评估集，并定期更新。没有它，你就无法判断指标的变化是来自真实世界还是模型本身。关于如何构建和维护这一基线，我们的《2027年LLM评估数据集构建指南》有详细介绍。

本周可以这样开始：选一个已经上线的模型，做四件事。写下它最重要的三个输入特征、主要输出，以及它旨在影响的一个业务结果；添加日志，记录模型版本、输入或其哈希值，以及每次带时间戳的预测；设定一个基线和一条关键告警，并指定有名字的负责人和简短运行手册；最后，两周后安排一次30分钟的复盘，看看告警抓到了什么，又漏掉了什么。

这件事看起来很小，却能把监控从一个意图变成一种日常习惯。没有被观察的模型并不是真正在生产中运行，它只是无人看管。

欢迎告诉我们你正在监控哪个生产模型，以及目前监控在哪里出现断点，我们可以为该场景回复一份书面的上线路线建议：https://api.duaer.com/form/c59a907a-3697-4edf-a04d-3ea0fb72fdc8

## 常见问题

### 上线后的机器学习模型应该监控哪些指标？

一般分三层：系统层（延迟、错误率、吞吐量、单次预测成本）、数据层（模式校验、缺失值、取值范围和与参考窗口的分布对比）、模型与结果层（预测分布、置信度、标签到达后的质量指标）。大语言模型还应加入token用量、护栏触发率和人工抽样评审。

### 没有真实标签时，还能做模型监控吗？

可以。在真实结果延迟到达时，可以先用代理信号，如预测分布变化、拒绝率、人工覆盖率和用户反馈，作为早期预警。标签到达后，再通过关联键把结果回填到原始预测上，验证质量指标。

### 模型监控告警太多，怎么减少误报？

用观测到的历史数据设定基线，而不是使用默认阈值；对数量指标使用相对变化，对分布使用统计检验；把告警分为警告和严重两级，只有严重告警触发即时响应；每条告警配备运行手册和明确负责人。如果大多数告警都被无行动关闭，就应重新调整阈值。