Duaer

指南

2027年LLM输出校验:为什么模型回答会先破坏你的流水线

本文整理自 Duaer 文档站,探讨企业如何在模型输出进入业务系统之前做校验,涵盖结构、内容与策略三层检查、常见误区、失败处理路径和效果度量。

为什么这比普通输入检查更难

大多数团队是通过同一种方式发现问题的。一个在演示中看起来很可靠的模型,开始返回一个 JSON 对象,其中某个字段是字符串而不是数字;或者返回一个项目符号列表,而下游解析器期望的是数组。请求不会报错,它返回 200,文本看起来也合理,但下游服务会悄悄把错误数据写进订单系统,或者给客户发出一条违反政策的回答。LLM 输出校验,就是在系统其他部分被允许信任模型结果之前,先检查模型到底返回了什么。

传统软件的失败是响亮的。缺失字段会抛出异常,类型错误会让解析器崩溃,空指针会出现在日志里。模型输出的失败则是悄无声息的。同一个提示词可能九次都产出结构正确的答案,第十次却给出细微不同的结果,而且差异往往在语义层面,而不是语法层面。退款金额 1200,可能表示 1200 元,也可能表示以分为单位存储的 12.00 元,而响应里没有任何信息告诉你是哪一种。

这意味着校验层不能是事后补充的环节。它必须位于模型与每一个消费其输出的系统之间,并且要默认输出是错误的,直到被证明为正确。那些把模型当作可信组件的团队,通常要等到一条错误记录进入生产环境后才会意识到这一点。

把检查分为三类:结构、内容与策略

组织校验工作的一个有效方式,是把它拆成三层,每一层回答不同的问题。

结构检查回答的是:输出在结构上是否可用。它能否被解析?所有必填字段是否都存在?类型是否正确?枚举值是否都来自允许的列表?这类检查成本低、结果确定,应当对每一次响应都执行。对大多数场景来说,一个严格的 schema 校验器就足够了。

内容检查回答的是:这些值是否合理。在舍入容差范围内,总额是否等于各明细项之和?日期是否早于到期日?客户 ID 在数据库中是否存在?报价是否落在业务允许的区间内?其中很多检查可以写成普通的规则。对于规则无法覆盖的部分,比如判断一段摘要是否有源文档支持,就需要基于检索或基于模型的检查,并且应把其结果视为一种信号,而不是最终裁决。

策略检查回答的是:输出是否允许离开系统。它是否包含应当脱敏的个人数据?是否建议了用户无权执行的操作?是否提到了法务尚未批准的产品或宣称?策略检查通常需要有独立的负责人,因为规则来自合规或业务部门,而不是工程团队。

那些跳过这种划分的团队,往往会搭建一个很大的提示词,让模型自己检查自己。这并不是独立的检查。如果同一个模型犯了错,它常常会批准自己的错误。

让校验看起来做完了、实际却没有做好的常见误区

第一个误区,是把结构化输出模式当作校验。约束解码和 JSON 模式能减少语法错误,这很有用,但它们并不能说明某个字段的值是否正确。一张格式完美的发票总额,依然可能是错的。

第二个误区,是只在 notebook 或评测运行中做校验。校验器需要在生产请求路径中运行,处理真实流量,输入与用户实际发送的内容一致。在干净测试集上通过的检查,往往会在杂乱的生产文本上失败,而真正的错误恰恰藏在那里。

第三个误区,是无限制地重试。当校验器拒绝某个输出时,最简单的做法是再次调用模型。如果没有上限,单个有问题的输入就可能触发循环,使延迟和成本成倍增加,而且重试很可能只会产生同样的错误。只有当错误信息被反馈进提示词,并且重试次数很少时,修复尝试才真正有帮助。

第四个误区,是记录了拒绝日志却无人查看。每一次被拒绝的输出,都是关于你的提示词、数据或上游系统的证据。如果日志从不被审阅,同样的故障就会每周以不同的名字再次出现。

第五个误区,是以为一个校验器就能覆盖所有情况。实际上,失败往往集中在少数几个地方:日期格式、货币单位、标识符,以及在长上下文中偏离源文档的回答。每一类失败都需要有针对性的检查。

如何搭建一个真正可用的校验步骤

首先,把输出契约写成代码。用明确的类型和允许值定义 schema,然后再补充五到十条内容规则,把业务方已经掌握的知识编码进去。以发票信息抽取为例,一组合理的规则包括:明细项之和在很小的容差内等于总额;币种属于允许列表;供应商 ID 存在于主数据中;发票日期不在未来;税率与某个已配置的税率一致。每条规则运行成本低,也容易向财务审核人员解释清楚。

把这些检查放在模型之外,用你的团队可以测试和做版本管理的普通代码来实现。在日志中把模型调用与校验调用分开记录,这样你就能判断一个失败是来自生成,还是来自某条规则。

对于规则无法覆盖的检查,需要有意识地做决定。基于模型的评判器可以标记无依据的主张,但它本身也有错误率,因此应当用它的输出把案例路由到人工复核,而不是静默地直接拦截。如果你关注的是事实性问题,我们的企业大模型系统中的幻觉检测指南介绍了如何在基于规则的校验之上叠加检索检查和抽样。

一种实用的做法是,不必逐个手工连接每个校验器,而是在同一个工作流中配置 schema、规则和失败路由。你可以在 Duaer(https://www.duaer.com)中运行这类分层校验,并在把规则扩展到生产流量之前,先确认这些规则是否符合你的数据。

校验失败后怎么办

被拒绝的输出需要有明确的处理路径,常见的有四种选择。修复是指带着具体的校验错误信息进行一次重试。降级是指返回安全模板、缓存答案或更简单的确定性路径。升级是指把案例连同模型输出和失败的规则一起转交人工队列。阻断是指停止工作流并通知负责人。

应当按输出类型选择路径,而不是一刀切。面向客户的回答可以降级为安全模板,而发票金额则应当始终升级给人工处理。修复尝试的次数应限制在一到两次,并为每一次拒绝记录原因代码,使路径可以被审计。对于调用工具的智能体,其失败模式与工具误用有所重叠,我们在这篇关于让智能体工具调用更可靠的指南中有详细介绍。

像衡量产品指标一样衡量校验效果,并从本周开始

校验需要有自己的仪表盘。应跟踪每项检查的拒绝率,被拒绝的输出中分别进入修复、降级或人工处理的比例,以及校验层为每个通过的输出增加的延迟和成本。这些数字能告诉你,这一层是在发挥作用,还是只是在拖慢速度。

有两项指标比其他的更重要。第一是误拒率:每周抽样被拒绝的输出,由审核人员确认拒绝是否合理。一个会拒绝正确输出的校验器,会让人们习惯性地忽略它。第二是漏检率:抽样通过的输出,查找已经流入下游系统的错误。如果出现漏检,说明规则遗漏了某一类失败,需要新增检查。

拒绝率的上升通常意味着上游出现了某些变化,例如提示词被修改、出现了新的文档模板,或者模型版本进行了更新。应当把拒绝率的突然变化视为需要排查的事件,而不是可以通过调参消除的噪声。

如果你想从一个具体场景开始,可以先选定一个会写入业务系统记录的模型输出,比如一张发票、一条工单更新或一份客户记录。为它编写 schema 和五条内容规则,在最近两周的生产输出上运行,并为每一次失败记录原因代码。此时先不要修改模型。从一周的拒绝日志中,你学到的真实错误画像会比任何基准测试都多。校验并不是为了让模型完美,而是确保错误的回答在系统边界处就被拦下,而不是在系统内部扩散。

如果你想在自己的场景中实际运行,可以访问 https://www.duaer.com 注册,先为一个工作流尝试搭建 schema、规则和失败路由,再决定是否投入工程资源搭建完整流水线。

欢迎告诉我们你的场景,我们会为你提供一份书面的落地路线。表单地址:https://api.duaer.com/form/c59a907a-3697-4edf-a04d-3ea0fb72fdc8

常见问题

LLM 输出校验和结构化输出(JSON 模式)有什么区别?

结构化输出模式主要减少语法错误,保证返回内容能被解析,但不能保证字段值是正确的。校验还需要检查类型、枚举值、业务规则(如金额一致性、日期合理性、ID 是否存在)以及策略合规性,这些都需要在模型之外单独实现。

模型输出校验失败后,应该重试还是直接拦截?

应根据输出类型选择路径。可以先做一到两次带有具体错误信息的修复重试,超过上限后再降级、升级给人工或阻断。面向客户的内容可以使用安全模板降级,而财务类数据通常应直接升级给人工复核,并记录原因代码以便审计。

如何判断校验规则是否过于严格?

每周抽样被拒绝的输出,由审核人员确认拒绝是否合理,计算误拒率。如果大量正确输出被拒绝,说明规则需要调整。同时也要抽样通过的输出,检查是否有错误漏到下游,即漏检率,两者需要一起观察。