> For the complete documentation index, see [llms.txt](https://doc.duaer.com/zh/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://doc.duaer.com/zh/guides/llm-output-validation.md).

# 2027年LLM输出校验：为什么模型回答会先破坏你的流水线

本文整理自 Duaer 文档站，探讨企业如何在模型输出进入业务系统之前做校验，涵盖结构、内容与策略三层检查、常见误区、失败处理路径和效果度量。

## 为什么这比普通输入检查更难

大多数团队是通过同一种方式发现问题的。一个在演示中看起来很可靠的模型，开始返回一个 JSON 对象，其中某个字段是字符串而不是数字；或者返回一个项目符号列表，而下游解析器期望的是数组。请求不会报错，它返回 200，文本看起来也合理，但下游服务会悄悄把错误数据写进订单系统，或者给客户发出一条违反政策的回答。LLM 输出校验，就是在系统其他部分被允许信任模型结果之前，先检查模型到底返回了什么。

传统软件的失败是响亮的。缺失字段会抛出异常，类型错误会让解析器崩溃，空指针会出现在日志里。模型输出的失败则是悄无声息的。同一个提示词可能九次都产出结构正确的答案，第十次却给出细微不同的结果，而且差异往往在语义层面，而不是语法层面。退款金额 1200，可能表示 1200 元，也可能表示以分为单位存储的 12.00 元，而响应里没有任何信息告诉你是哪一种。

这意味着校验层不能是事后补充的环节。它必须位于模型与每一个消费其输出的系统之间，并且要默认输出是错误的，直到被证明为正确。那些把模型当作可信组件的团队，通常要等到一条错误记录进入生产环境后才会意识到这一点。

## 把检查分为三类：结构、内容与策略

组织校验工作的一个有效方式，是把它拆成三层，每一层回答不同的问题。

结构检查回答的是：输出在结构上是否可用。它能否被解析？所有必填字段是否都存在？类型是否正确？枚举值是否都来自允许的列表？这类检查成本低、结果确定，应当对每一次响应都执行。对大多数场景来说，一个严格的 schema 校验器就足够了。

内容检查回答的是：这些值是否合理。在舍入容差范围内，总额是否等于各明细项之和？日期是否早于到期日？客户 ID 在数据库中是否存在？报价是否落在业务允许的区间内？其中很多检查可以写成普通的规则。对于规则无法覆盖的部分，比如判断一段摘要是否有源文档支持，就需要基于检索或基于模型的检查，并且应把其结果视为一种信号，而不是最终裁决。

策略检查回答的是：输出是否允许离开系统。它是否包含应当脱敏的个人数据？是否建议了用户无权执行的操作？是否提到了法务尚未批准的产品或宣称？策略检查通常需要有独立的负责人，因为规则来自合规或业务部门，而不是工程团队。

那些跳过这种划分的团队，往往会搭建一个很大的提示词，让模型自己检查自己。这并不是独立的检查。如果同一个模型犯了错，它常常会批准自己的错误。

## 让校验看起来做完了、实际却没有做好的常见误区

第一个误区，是把结构化输出模式当作校验。约束解码和 JSON 模式能减少语法错误，这很有用，但它们并不能说明某个字段的值是否正确。一张格式完美的发票总额，依然可能是错的。

第二个误区，是只在 notebook 或评测运行中做校验。校验器需要在生产请求路径中运行，处理真实流量，输入与用户实际发送的内容一致。在干净测试集上通过的检查，往往会在杂乱的生产文本上失败，而真正的错误恰恰藏在那里。

第三个误区，是无限制地重试。当校验器拒绝某个输出时，最简单的做法是再次调用模型。如果没有上限，单个有问题的输入就可能触发循环，使延迟和成本成倍增加，而且重试很可能只会产生同样的错误。只有当错误信息被反馈进提示词，并且重试次数很少时，修复尝试才真正有帮助。

第四个误区，是记录了拒绝日志却无人查看。每一次被拒绝的输出，都是关于你的提示词、数据或上游系统的证据。如果日志从不被审阅，同样的故障就会每周以不同的名字再次出现。

第五个误区，是以为一个校验器就能覆盖所有情况。实际上，失败往往集中在少数几个地方：日期格式、货币单位、标识符，以及在长上下文中偏离源文档的回答。每一类失败都需要有针对性的检查。

## 如何搭建一个真正可用的校验步骤

首先，把输出契约写成代码。用明确的类型和允许值定义 schema，然后再补充五到十条内容规则，把业务方已经掌握的知识编码进去。以发票信息抽取为例，一组合理的规则包括：明细项之和在很小的容差内等于总额；币种属于允许列表；供应商 ID 存在于主数据中；发票日期不在未来；税率与某个已配置的税率一致。每条规则运行成本低，也容易向财务审核人员解释清楚。

把这些检查放在模型之外，用你的团队可以测试和做版本管理的普通代码来实现。在日志中把模型调用与校验调用分开记录，这样你就能判断一个失败是来自生成，还是来自某条规则。

对于规则无法覆盖的检查，需要有意识地做决定。基于模型的评判器可以标记无依据的主张，但它本身也有错误率，因此应当用它的输出把案例路由到人工复核，而不是静默地直接拦截。如果你关注的是事实性问题，我们的[企业大模型系统中的幻觉检测指南](https://doc.duaer.com/zh/guides/llm-hallucination-detection-enterprise-guide/)介绍了如何在基于规则的校验之上叠加检索检查和抽样。

一种实用的做法是，不必逐个手工连接每个校验器，而是在同一个工作流中配置 schema、规则和失败路由。你可以在 Duaer（[https://www.duaer.com](https://www.duaer.com)）中运行这类分层校验，并在把规则扩展到生产流量之前，先确认这些规则是否符合你的数据。

## 校验失败后怎么办

被拒绝的输出需要有明确的处理路径，常见的有四种选择。修复是指带着具体的校验错误信息进行一次重试。降级是指返回安全模板、缓存答案或更简单的确定性路径。升级是指把案例连同模型输出和失败的规则一起转交人工队列。阻断是指停止工作流并通知负责人。

应当按输出类型选择路径，而不是一刀切。面向客户的回答可以降级为安全模板，而发票金额则应当始终升级给人工处理。修复尝试的次数应限制在一到两次，并为每一次拒绝记录原因代码，使路径可以被审计。对于调用工具的智能体，其失败模式与工具误用有所重叠，我们在[这篇关于让智能体工具调用更可靠的指南](https://doc.duaer.com/zh/guides/agent-tool-calling-reliability/)中有详细介绍。

## 像衡量产品指标一样衡量校验效果，并从本周开始

校验需要有自己的仪表盘。应跟踪每项检查的拒绝率，被拒绝的输出中分别进入修复、降级或人工处理的比例，以及校验层为每个通过的输出增加的延迟和成本。这些数字能告诉你，这一层是在发挥作用，还是只是在拖慢速度。

有两项指标比其他的更重要。第一是误拒率：每周抽样被拒绝的输出，由审核人员确认拒绝是否合理。一个会拒绝正确输出的校验器，会让人们习惯性地忽略它。第二是漏检率：抽样通过的输出，查找已经流入下游系统的错误。如果出现漏检，说明规则遗漏了某一类失败，需要新增检查。

拒绝率的上升通常意味着上游出现了某些变化，例如提示词被修改、出现了新的文档模板，或者模型版本进行了更新。应当把拒绝率的突然变化视为需要排查的事件，而不是可以通过调参消除的噪声。

如果你想从一个具体场景开始，可以先选定一个会写入业务系统记录的模型输出，比如一张发票、一条工单更新或一份客户记录。为它编写 schema 和五条内容规则，在最近两周的生产输出上运行，并为每一次失败记录原因代码。此时先不要修改模型。从一周的拒绝日志中，你学到的真实错误画像会比任何基准测试都多。校验并不是为了让模型完美，而是确保错误的回答在系统边界处就被拦下，而不是在系统内部扩散。

如果你想在自己的场景中实际运行，可以访问 [https://www.duaer.com](https://www.duaer.com) 注册，先为一个工作流尝试搭建 schema、规则和失败路由，再决定是否投入工程资源搭建完整流水线。

欢迎告诉我们你的场景，我们会为你提供一份书面的落地路线。表单地址：https://api.duaer.com/form/c59a907a-3697-4edf-a04d-3ea0fb72fdc8

## 常见问题

### LLM 输出校验和结构化输出（JSON 模式）有什么区别？

结构化输出模式主要减少语法错误，保证返回内容能被解析，但不能保证字段值是正确的。校验还需要检查类型、枚举值、业务规则（如金额一致性、日期合理性、ID 是否存在）以及策略合规性，这些都需要在模型之外单独实现。

### 模型输出校验失败后，应该重试还是直接拦截？

应根据输出类型选择路径。可以先做一到两次带有具体错误信息的修复重试，超过上限后再降级、升级给人工或阻断。面向客户的内容可以使用安全模板降级，而财务类数据通常应直接升级给人工复核，并记录原因代码以便审计。

### 如何判断校验规则是否过于严格？

每周抽样被拒绝的输出，由审核人员确认拒绝是否合理，计算误拒率。如果大量正确输出被拒绝，说明规则需要调整。同时也要抽样通过的输出，检查是否有错误漏到下游，即漏检率，两者需要一起观察。

