指南
2027 年的人在回路:为什么多数 AI 工作流会在审核环节失效
本文整理自 Duaer 文档站,探讨“人在回路”(human in the loop)为何常常只是治理表面的说法,并介绍如何按风险划分审核决策、设计审核队列、赋予审核人员实际权限,以及用可衡量的指标检验审核环节是否真正有效。
“人在回路”不等于治理已经完成
很多团队会说自己的 AI 工作流有“人在回路”,并把这句话当作治理问题的终点。实际上,这个说法通常只意味着两种情况,而且两种都很薄弱。一种是有人点击“通过”,但他们没有时间或上下文去检查这些输出;另一种是所有输出都排进一个没人负责清理的队列。前者只带来虚假的安心,后者会悄悄抵消项目原本应带来的效率。无论哪种,组织最终得到的流程在幻灯片上看起来很安全,但到了周二下午的实际运作中却表现很糟。
这首先是一个组织问题,其次才是技术问题。必须有人决定:哪些决策必须由人来做,谁对这个决策负责,他们被允许推翻什么,以及组织如何知道这个回路是否有效。这些问题都不是你所选的模型能回答的。
为什么“有人会检查”通常会失败
常见的设计很简单:模型起草,人审核,工作继续推进。但这种设计往往会以可预见的方式失败。审核人员通常没有参与工作流的搭建,所以他们不知道好的输出是什么样,也不清楚哪些错误最容易出现。他们的考核以处理量为主,认真审核会直接影响他们的指标。而且,当输出读起来流畅专业时,人们会比应有的程度更信任它。一个表述精致但错误的答案,比一个笨拙的错误答案更难被发现。
结果就是业内人士所说的“橡皮图章”:审核步骤在流程图里确实存在,但人对结果质量几乎没有实质贡献。治理报告随后会把流程描述为“有人监督”,却没有人去验证这一点是否属实。
先定义哪些决策需要人,而不是哪些输出需要审
最有价值的转变,是停止追问“是否每个输出都需要人工审核?”,转而问:“哪些决策的后果是组织无法低成本撤销的?”例如,超过一定金额的客户退款、会产生法律责任的合同条款、医疗或安全相关的建议、招聘或解雇相关的输入,与内部会议纪要或初稿形式的产品描述,性质完全不同。
把这些决策写成一份简短清单,包含三列:决策事项、判断错误的后果、对此负责的人。如果你无法指出负责人,说明这个回路还没有设计完成。这份清单也应当能让法务、风控和运营负责人读懂并达成一致。关于审批闸门如何与审计要求衔接,可以参阅AI 审计追踪与人工审批闸门。
设计审核队列,并赋予审核人员真实权限
当你明确了哪些决策需要人工参与,设计问题就变得相对机械化。应按风险而不是按数量分流案例。常见做法是分成三条通道:低风险输出自动通过,但按固定比例抽检,例如每周随机抽取一小部分;中风险输出在模型置信度偏低、输入超出已知模式,或输出包含关键字段(如金额或日期)时转入审核;高风险输出则在执行任何动作之前,必须交由指定的审核人员处理。
阈值比工具更重要。阈值应当与日后要长期使用它们的人一起制定,并在真实流量运行几周后重新审视。如果一个阈值把大量案例都送去审核,一个月内就会被悄悄绕过;如果阈值几乎不送审,审核也就形同虚设。合适的数字,是审核人员在仔细阅读每个案例的同时,真正能够处理得过来的那个数量。
如果希望在分流规则影响真实客户之前先行测试,可以在 Duaer 中设置通道、抽检比例和升级规则,并用你自己的历史案例进行运行。这样团队能在任何人依赖这些阈值之前,先看到它们会把哪些工作送到哪里。
审核步骤只有在审核人员能够不受处罚、无需冗长争论地说“不”时才有意义。落到实处需要三点。第一,审核人员可以拒绝或修改输出,系统需要记录这些改动。第二,对于认可的输出,审核人员无需说明理由,但推翻输出时必须以简短、结构化的方式给出原因。第三,审核人员在不确定时知道该向谁升级,而且升级本身不被视为失职。
相关人员还需要的培训,不能只停留在“如何使用工具”。他们需要理解模型在这一具体任务中的典型失败模式。一位知道模型容易漏掉旧版保单措辞中除外条款的理赔审核员,会检查正确的内容;只懂界面操作的审核员,则只会检查屏幕上显示的东西。这部分的组织变革工作,包括角色定义和审核人员的考核方式,与AI 变革管理中的角色设置有大量重叠。
常见误区与衡量方法
有几种观念会让“人在回路”的设计变得更糟。第一种是认为审核越多越安全。过量审核会造成疲劳,而疲劳的审核人员会更快地通过,而不是更慢。第二种是认为回路应当永久保留。许多团队应当在错误率被充分理解后,计划减少特定、可被良好衡量任务上的人工审核,同时对仍然高风险的决策保留审核。第三种是认为人工审核本身就是法律护盾。监管机构和法院通常会追问,审核是否有实质意义、是否有记录、是否能够发现相关错误。对未阅读内容的输出签字,达不到这一标准。
第四种误区是把审核人员当作弥补数据质量差或提示词不佳的手段。如果模型在某一类案例上系统性出错,把这些案例交给人处理只是临时补丁。根本原因应当被记录并修复,否则审核队列会成为团队的永久负担。
衡量方面,不能只看通过率,因为接近 100% 的通过率往往是警示信号,而不是成功的标志。应改为追踪四项指标。推翻率反映审核人员修改输出的频率,若它突然下降,应当对审核人员的行为进行抽样审计。单案例审核时长反映审核人员是否有足够的时间进行检查。升级率反映通道的校准是否正确。错误外泄率,即发布后发现的错误输出数量,是其中最重要的一项,因为它说明审核环节是否抓住了本应抓住的问题。
这些指标应由负责人按固定节奏进行复盘。不要把它们作为个人绩效分数公布,否则会把审核人员重新推回“橡皮图章”的状态。
本周可以做什么
选择一个已经设有审核步骤的 AI 工作流,做一次简短审计。抽取最近的二十个案例,包括一些被快速通过的案例,请一位未参与原始设计的审核人员,依据你既定的标准进行检查。记录其中有多少会被拦下、多少会被修改,以及每次审核花了多长时间。然后,针对这一个工作流,写下需要指定人员处理的决策清单、每条通道的分流规则,以及每个阈值的负责人。把这份一页纸的结果分享给批准预算和风险的人。这一份文档,就能比任何工具演示更清楚地说明你的回路是否真实有效。
如果团队准备把这些通道和抽检规则落实到实际流程中,可以访问 https://www.duaer.com 注册,并在产品上线之前用你自己的案例测试分流规则。
如果你愿意描述你的业务场景,我们可以为其整理一份书面的推广路线。提交入口:https://api.duaer.com/form/c59a907a-3697-4edf-a04d-3ea0fb72fdc8
“人在回路”的效果,取决于这个人是否被授权、具备能力并且被衡量去做出决策。因此应当先设计决策本身,工具自然会随之而来。
常见问题
AI 工作流中的人工审核一定要覆盖所有输出吗?
不一定。更合理的做法是先判断哪些决策的错误后果难以低成本撤销,再对这些决策设置必须由指定人员审核的规则。对低风险输出,可以自动通过并按固定比例抽检;对中风险输出,在置信度偏低、输入异常或包含关键字段时转入审核。审核范围应当与审核人员的实际处理能力相匹配,否则很快会流于形式。
如何判断 AI 流程中的人工审核是否真正有效?
不要只看审核通过率,接近 100% 的通过率往往说明审核流于形式。可以关注推翻率、单案例审核时长、升级率,以及发布后发现的错误外泄率。其中错误外泄率最能说明审核环节是否抓住了本应抓住的问题。建议按固定节奏由负责人复盘,并避免把这些指标作为个人绩效考核。
企业可以在正式上线前测试 AI 审核的分流规则吗?
可以。一种做法是用历史案例进行回放测试:先设置好通道、抽检比例和升级规则,再观察这些规则会把哪些案例送去审核,然后根据结果调整阈值。这样可以在规则影响真实客户之前发现问题。Duaer 文档站也提供了类似的测试思路,可以参考。