Duaer

指南

人在回路 vs 人在环上:2027 年企业 AI 落地指南

本文整理自 Duaer 文档站,围绕企业 AI 落地,比较「人在回路」与「人在环上」两种监督模式的含义、适用场景和风险分级方法,并给出试点选择与衡量指标。

两种模式到底指什么

你的 AI 系统现在已经可以起草退款、更新供应商记录,或向客户发出通知。迟早会有合规负责人问出最关键的问题:这个动作是谁批准的,人究竟在哪里盯着?「人在回路」(Human in the Loop,HITL)和「人在环上」(Human over the Loop,HOTL)是企业最常见的两种答案,但它们让人所处的位置截然不同。混淆二者的团队,通常会落入两种糟糕的境地之一:要么每个动作都要排队等审批,价值随之消失;要么组织声称有人类监督,而实际上没有人能真正行使监督权,审计时必然被发现。

人在回路指每个动作在生效前都由人批准:系统提出建议,人来决定。人在环上指系统在明确边界内自主行动,人则负责制定策略、观察监控信号,并保留介入或停止流程的权力。区别不在于人是否参与,而在于人的控制发生在什么时间点、以什么粒度进行。人在回路把人放在每一次决策的节点上;人在环上把人放在规则、阈值和异常处理的层面上。两者都是合理的,错误在于把其中一种视为普遍更优。

落地为何比想象中更难,以及常见误解

企业部署中有三个问题反复出现。

第一,审批队列无法规模化。逐笔审核的工作量会随业务量增长,队列一长,审核人就会开始不看内容直接点击通过。日志里会显示有人工审批,但真正的控制并不存在。这只是纸面留痕,而不是监督。

第二,有监控无权限,会悄无声息地失效。人在环上的设计需要有人接收告警、理解告警,并且有权暂停系统。如果告警发到一个共享邮箱,而停止按钮需要先提工单给 IT,那么人虽然在看,却无法行动。

第三,责任会变得模糊。政策文件可能写着有人类监督智能体,但事故发生时,没有人能说出对某一类动作负责的具体是谁。这个缺口正是合规问题的来源。

常见误解有三个。误解一:人在回路永远更安全。一个每天面对大量事项的审核人,并不是有效的控制。给每一步都加上人工环节,可能在纸面上降低了风险,实际上却因审核人疲劳而增加错误。误解二:人在环上意味着不需要人。人在环上的系统仍然需要指定的负责人、书面阈值、升级路径,以及一个真正可用的紧急停止开关。人的角色是上移一个层级,而不是消失。误解三:企业应该为所有 AI 工作流选择同一种模式。监督强度应当与每类动作的风险相匹配。起草助手和付款放行不应共享同一套控制设计。

让监督强度与风险相匹配

对每个候选动作,可以按四个因素进行分类:是否可逆、财务或法律风险敞口、数据敏感度,以及输出是否会触达外部方。一种实用的分级方式如下。

第一级包括不可逆或对外具有约束力的动作,例如发送合同条款、释放超过阈值的付款,或修改受监管的记录。这些应采用人在回路,并为每个动作指定具名审批人。

第二级包括可逆、范围有限的动作,例如起草内部报告、分派工单或给文档打标签。这类动作适合人在环上,配合抽样复核、阈值告警,并由能够暂停流程的负责人把关。

第三级是低风险、只读或易于撤销的任务。这类任务可以在完整日志记录和定期复核的前提下自主运行。

无论选择哪一级,日志都是让模式站得住脚的关键。应提前决定必须记录哪些字段,包括输入、输出、审批人或负责人、策略版本和时间戳。关于应记录哪些内容、审批节点应设在何处,可参阅AI 审计日志与人工审批节点。

按价值与难度给候选流程排序,并选定首个试点

大多数企业会发现一组熟悉的候选流程:发票异常处理、退款请求、合同条款检查、访问权限变更、内部知识问答和供应商入驻。可以从两个维度为每个流程打分。价值包括业务量、延误成本和错误成本;难度包括数据就绪程度、动作的可逆性,以及涉及的系统数量。

最好的首批候选位于高价值、低到中等风险的区域。价值高但属于第一级的流程仍可试点,但只能在人在回路模式下、以狭窄范围进行,例如一个地区或一条产品线。避免从既高风险又缺乏良好监控的流程开始,否则试点时间会耗在调试数据上,而不是学习如何做监督。

一个好的首个试点应具备五个特征:有唯一的负责人可以批准或叫停流程;有来自现行人工流程的可衡量基线;动作大多可逆;有清晰的升级路径;日志已经存在或易于添加。

即使最终目标是人在环上,也应先以人在回路模式运行试点。原因在于数据。在审批阶段,记录人工修改 AI 输出的频率、修改原因以及审核耗时。当在事先定义的样本上分歧长期保持在低水平时,再将该特定动作类别切换到带阈值的人在环上模式。不要一次性迁移整个流程,也不要依据供应商的宣传设定阈值,而应基于自己的数据来设定。

很多团队正是在这一步发现,审核环节才是薄弱的环节。若想了解审核阶段通常如何失效,可阅读人在回路 AI 工作流为何会在审核环节失效。

如果你不想为每个试点从零搭建路由规则、审批步骤和日志,可以在 Duaer 中搭建这类分级审批加监控的流程。Duaer 的设计目标是运行带有明确人工检查点的 AI 工作流。请把它视为一个可以对照自身需求进行测试的实用选项,而不是对结果的保证。

衡量模型是否有效

应跟踪一小组指标。修改率(override rate)表示人工修改 AI 输出的频率:如果比例很高,说明模型可能还未适合该动作类别;如果比例接近零,同样令人担忧,可能意味着审核人在橡皮图章式地通过。应跟踪审批耗时,排队时间上升是审批疲劳的早期信号。还应统计升级次数、监控发现的事件数,以及需要叫停流程时所花的时间。最后检查审计完整性:能否在几分钟内从日志中还原任意一个决策?

核心观点很简单:人在回路与人在环上并不是相互竞争的理念,而是针对不同风险等级的工具。关键在于,在每个决策的正确节点上放置合适的人,并用证据证明这一点。

你本周的行动

选择一个已经在用或即将上线的工作流,为它编写一页纸的监督卡片。列出动作、风险等级、具名审批人或负责人、停止条件、触发升级的阈值,以及你将保留的日志字段。把它交给将要承担责任的人,请他确认自己真的能据此采取行动。如果他做不到,就要在流水线上线前修改设计。

如果你希望有一个结构化的起点,可以访问 https://www.duaer.com 注册,并尝试用其中的审批和监控步骤搭建这类工作流。

告诉我们你的场景,我们会为你返回一份书面的推进路线。提交表单:https://api.duaer.com/form/c59a907a-3697-4edf-a04d-3ea0fb72fdc8

常见问题

人在回路和人在环上有什么区别?

人在回路要求每个动作在生效前由人批准,人处于单个决策的节点上;人在环上允许系统在预设边界内自主运行,人负责制定规则、设置阈值、处理监控告警并保留紧急停止权,处于规则与异常处理的层面。二者的区别在于控制的时机和粒度,而不是人是否参与。

企业 AI 流程应该先用哪种监督模式?

通常建议先以人在回路模式试点,即使最终目标是人在环上。在审批阶段记录人工修改率、修改原因和审核耗时,待某类动作的分歧长期保持在事先约定的低水平后,再针对该动作类别切换到带阈值的人在环上模式,而不是一次性迁移整个流程。

如何判断 AI 审批是否流于形式?

可以先观察修改率:过高说明模型尚未成熟,接近于零则可能是审核人在不看内容地直接通过。同时关注审批排队时间的上升趋势,并抽查日志能否在几分钟内还原任一决策,包括输入、输出、审批人和策略版本。