> For the complete documentation index, see [llms.txt](https://doc.duaer.com/zh/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://doc.duaer.com/zh/guides/human-in-the-loop-ai-workflow-review.md).

# 2027 年的人在回路：为什么多数 AI 工作流会在审核环节失效

本文整理自 Duaer 文档站，探讨“人在回路”（human in the loop）为何常常只是治理表面的说法，并介绍如何按风险划分审核决策、设计审核队列、赋予审核人员实际权限，以及用可衡量的指标检验审核环节是否真正有效。

## “人在回路”不等于治理已经完成

很多团队会说自己的 AI 工作流有“人在回路”，并把这句话当作治理问题的终点。实际上，这个说法通常只意味着两种情况，而且两种都很薄弱。一种是有人点击“通过”，但他们没有时间或上下文去检查这些输出；另一种是所有输出都排进一个没人负责清理的队列。前者只带来虚假的安心，后者会悄悄抵消项目原本应带来的效率。无论哪种，组织最终得到的流程在幻灯片上看起来很安全，但到了周二下午的实际运作中却表现很糟。

这首先是一个组织问题，其次才是技术问题。必须有人决定：哪些决策必须由人来做，谁对这个决策负责，他们被允许推翻什么，以及组织如何知道这个回路是否有效。这些问题都不是你所选的模型能回答的。

## 为什么“有人会检查”通常会失败

常见的设计很简单：模型起草，人审核，工作继续推进。但这种设计往往会以可预见的方式失败。审核人员通常没有参与工作流的搭建，所以他们不知道好的输出是什么样，也不清楚哪些错误最容易出现。他们的考核以处理量为主，认真审核会直接影响他们的指标。而且，当输出读起来流畅专业时，人们会比应有的程度更信任它。一个表述精致但错误的答案，比一个笨拙的错误答案更难被发现。

结果就是业内人士所说的“橡皮图章”：审核步骤在流程图里确实存在，但人对结果质量几乎没有实质贡献。治理报告随后会把流程描述为“有人监督”，却没有人去验证这一点是否属实。

## 先定义哪些决策需要人，而不是哪些输出需要审

最有价值的转变，是停止追问“是否每个输出都需要人工审核？”，转而问：“哪些决策的后果是组织无法低成本撤销的？”例如，超过一定金额的客户退款、会产生法律责任的合同条款、医疗或安全相关的建议、招聘或解雇相关的输入，与内部会议纪要或初稿形式的产品描述，性质完全不同。

把这些决策写成一份简短清单，包含三列：决策事项、判断错误的后果、对此负责的人。如果你无法指出负责人，说明这个回路还没有设计完成。这份清单也应当能让法务、风控和运营负责人读懂并达成一致。关于审批闸门如何与审计要求衔接，可以参阅[AI 审计追踪与人工审批闸门](https://doc.duaer.com/zh/guides/ai-audit-trails-human-gates/)。

## 设计审核队列，并赋予审核人员真实权限

当你明确了哪些决策需要人工参与，设计问题就变得相对机械化。应按风险而不是按数量分流案例。常见做法是分成三条通道：低风险输出自动通过，但按固定比例抽检，例如每周随机抽取一小部分；中风险输出在模型置信度偏低、输入超出已知模式，或输出包含关键字段（如金额或日期）时转入审核；高风险输出则在执行任何动作之前，必须交由指定的审核人员处理。

阈值比工具更重要。阈值应当与日后要长期使用它们的人一起制定，并在真实流量运行几周后重新审视。如果一个阈值把大量案例都送去审核，一个月内就会被悄悄绕过；如果阈值几乎不送审，审核也就形同虚设。合适的数字，是审核人员在仔细阅读每个案例的同时，真正能够处理得过来的那个数量。

如果希望在分流规则影响真实客户之前先行测试，可以在 Duaer 中设置通道、抽检比例和升级规则，并用你自己的历史案例进行运行。这样团队能在任何人依赖这些阈值之前，先看到它们会把哪些工作送到哪里。

审核步骤只有在审核人员能够不受处罚、无需冗长争论地说“不”时才有意义。落到实处需要三点。第一，审核人员可以拒绝或修改输出，系统需要记录这些改动。第二，对于认可的输出，审核人员无需说明理由，但推翻输出时必须以简短、结构化的方式给出原因。第三，审核人员在不确定时知道该向谁升级，而且升级本身不被视为失职。

相关人员还需要的培训，不能只停留在“如何使用工具”。他们需要理解模型在这一具体任务中的典型失败模式。一位知道模型容易漏掉旧版保单措辞中除外条款的理赔审核员，会检查正确的内容；只懂界面操作的审核员，则只会检查屏幕上显示的东西。这部分的组织变革工作，包括角色定义和审核人员的考核方式，与[AI 变革管理中的角色设置](https://doc.duaer.com/zh/guides/ai-change-management-roles/)有大量重叠。

## 常见误区与衡量方法

有几种观念会让“人在回路”的设计变得更糟。第一种是认为审核越多越安全。过量审核会造成疲劳，而疲劳的审核人员会更快地通过，而不是更慢。第二种是认为回路应当永久保留。许多团队应当在错误率被充分理解后，计划减少特定、可被良好衡量任务上的人工审核，同时对仍然高风险的决策保留审核。第三种是认为人工审核本身就是法律护盾。监管机构和法院通常会追问，审核是否有实质意义、是否有记录、是否能够发现相关错误。对未阅读内容的输出签字，达不到这一标准。

第四种误区是把审核人员当作弥补数据质量差或提示词不佳的手段。如果模型在某一类案例上系统性出错，把这些案例交给人处理只是临时补丁。根本原因应当被记录并修复，否则审核队列会成为团队的永久负担。

衡量方面，不能只看通过率，因为接近 100% 的通过率往往是警示信号，而不是成功的标志。应改为追踪四项指标。推翻率反映审核人员修改输出的频率，若它突然下降，应当对审核人员的行为进行抽样审计。单案例审核时长反映审核人员是否有足够的时间进行检查。升级率反映通道的校准是否正确。错误外泄率，即发布后发现的错误输出数量，是其中最重要的一项，因为它说明审核环节是否抓住了本应抓住的问题。

这些指标应由负责人按固定节奏进行复盘。不要把它们作为个人绩效分数公布，否则会把审核人员重新推回“橡皮图章”的状态。

## 本周可以做什么

选择一个已经设有审核步骤的 AI 工作流，做一次简短审计。抽取最近的二十个案例，包括一些被快速通过的案例，请一位未参与原始设计的审核人员，依据你既定的标准进行检查。记录其中有多少会被拦下、多少会被修改，以及每次审核花了多长时间。然后，针对这一个工作流，写下需要指定人员处理的决策清单、每条通道的分流规则，以及每个阈值的负责人。把这份一页纸的结果分享给批准预算和风险的人。这一份文档，就能比任何工具演示更清楚地说明你的回路是否真实有效。

如果团队准备把这些通道和抽检规则落实到实际流程中，可以访问 https://www.duaer.com 注册，并在产品上线之前用你自己的案例测试分流规则。

如果你愿意描述你的业务场景，我们可以为其整理一份书面的推广路线。提交入口：https://api.duaer.com/form/c59a907a-3697-4edf-a04d-3ea0fb72fdc8

“人在回路”的效果，取决于这个人是否被授权、具备能力并且被衡量去做出决策。因此应当先设计决策本身，工具自然会随之而来。

## 常见问题

### AI 工作流中的人工审核一定要覆盖所有输出吗？

不一定。更合理的做法是先判断哪些决策的错误后果难以低成本撤销，再对这些决策设置必须由指定人员审核的规则。对低风险输出，可以自动通过并按固定比例抽检；对中风险输出，在置信度偏低、输入异常或包含关键字段时转入审核。审核范围应当与审核人员的实际处理能力相匹配，否则很快会流于形式。

### 如何判断 AI 流程中的人工审核是否真正有效？

不要只看审核通过率，接近 100% 的通过率往往说明审核流于形式。可以关注推翻率、单案例审核时长、升级率，以及发布后发现的错误外泄率。其中错误外泄率最能说明审核环节是否抓住了本应抓住的问题。建议按固定节奏由负责人复盘，并避免把这些指标作为个人绩效考核。

### 企业可以在正式上线前测试 AI 审核的分流规则吗？

可以。一种做法是用历史案例进行回放测试：先设置好通道、抽检比例和升级规则，再观察这些规则会把哪些案例送去审核，然后根据结果调整阈值。这样可以在规则影响真实客户之前发现问题。Duaer 文档站也提供了类似的测试思路，可以参考。

