Duaer

指南

2027年AI审计追踪与人工审批闸门:合规将在哪里首先失效

本文整理自 Duaer 文档站,讨论企业在真实业务流程中落地大模型时,如何设计可回溯的审计追踪与分级人工审批闸门,并说明合规风险通常首先出现在哪里。

问题的起点:为什么审计与人工闸门比想象中更难

大多数已经把大语言模型接入真实业务流程的企业,都遇到过同样尴尬的时刻。模型起草了一条合同条款、一项退款决定或一段面向客户的回复,法务、风控或内部审计人员随即问出一个简单的问题:这是谁批准的、什么时候批准的、依据是什么,一年之后我们还能证明吗?如果诚实的答案是“没人真正检查过”或“我们无法还原当时的过程”,那么试点项目就不再是效率故事,而变成了合规风险。这正是“AI审计追踪与人工闸门”这一说法背后的真实痛点。生成内容的技术已经不是瓶颈,真正的瓶颈是责任归属。

传统软件足够确定,日志通常就能回答大部分问题:输入记录、版本号和时间戳基本能解释发生了什么。生成式系统在三个方面打破了这一假设。第一,同一个提示词可能产生不同的输出。第二,输出往往依赖检索到的文档、系统提示词、模型版本和工具调用,而这些要素各自独立变化。第三,一个答案在被人看到之前,可能已经经过多个智能体或多个步骤。如果日志只记录最终文本,那么它几乎无法说明系统为什么给出这样的回答。

人工闸门面临的困难与此类似。组织通常会在流程末端加一个“人在回路中”的步骤,而这时模型已经完成了成本较高的推理。审核人员面对的是一份打磨过的答案,几乎没有上下文可以质疑它。闸门在纸面上存在,却不会改变结果。

常见误区

第一个误区是把“记录一切”等同于拥有审计追踪。保存每一个词元成本并不高,但它只会堆积出一堆事故发生时没人能快速检索的数据。真正的审计追踪是结构化的记录,能回答具体问题:用了哪个数据源,哪个模型版本和提示词版本生成了输出,执行了哪些置信度或策略检查,谁审核了它,又做了哪些修改。

第二个误区是把人工闸门当成一个“通过或拒绝”的按钮。实际上,如果每位审核人员都在三秒内点击通过,这个闸门就只是一种形式,而不是控制手段。审核人员需要看到系统所用的证据、操作的风险类别,以及这一项为什么被分派给他。

第三个误区是认为闸门应当统一适用于所有内容。如果每一条摘要、每一份内部草稿都要审批,审核人员几周内就会精疲力竭,并开始凭习惯点击通过。闸门应当设在错误操作代价高、且难以撤销的环节,例如付款、对外承诺、个人数据披露、医疗或法律建议,以及对生产系统的变更。

围绕问题而非存储来设计审计追踪

设计应当从审计人员或事件响应人员会问的问题出发。典型问题包括:系统在当时掌握了什么信息,哪些指令在约束它,它做了什么,谁授权了这一操作,以及我们能否重放这一决策。从这些问题反推,确定必须采集的字段。

在实践中,每一条重要输出的有用记录通常包括:请求标识、模型及其版本、提示词模板及其版本、检索到的来源及其文档版本、所有工具调用及其结果、通过或未通过的策略检查、人工审核人员及其决定,以及发布前所做的任何编辑。完整的原始数据应单独存储并限制访问权限,这样结构化的追踪记录保持可读,同时原始数据仍可用于深入调查。

保留期限和访问权限与内容本身同样重要。应根据监管义务确定每类记录的保存时长,并确保日志本身受到保护,防止被静默修改。如果审计追踪可以被它本应监督的团队随意修改,那么它就不能被视为证据。

把人工闸门放在真正能改变结果的位置

一种可行的做法是把操作分为三个层级。第一层是低影响、可逆的输出,例如内部草稿和摘要,适合抽样审核,比如每周固定抽查一定比例,以衡量质量漂移。第二层是影响客户或资金、但可以更正的输出,例如回复草稿或建议调整方案,需要审核人员能看到来源,并能在发布前进行编辑。第三层是不可逆或受监管的操作,必须由指定角色明确批准,并将批准过程记录在追踪记录中。

闸门应当向审核人员展示真正重要的内容:模型提出的主张、支撑该主张的来源,以及一旦批准会产生什么后果。良好的闸门设计还应跟踪审核人员的行为。如果某位审批人在几秒内就接受了百分之九十九的事项,这说明闸门已经流于形式,需要重新设计或重新平衡。

事件处理是闸门与追踪记录的交汇点。出现问题时,需要找出由有缺陷的提示词版本或错误数据源产生的所有输出,并暂停下游操作。关于这一问题的政策层面,我们的企业AI治理与安全合规指南有更深入的讨论,它与一份书面的AI事件响应手册配合使用效果更佳,后者应明确谁有权叫停工作流。

如何衡量机制是否有效

衡量应同时覆盖追踪记录和闸门两个方面。对于追踪记录,应统计完整性,即具有完整模型版本、提示词版本、来源和审核人信息的重要输出所占的百分比。可以通过演练进行检验:随机抽取十条输出,尝试在一小时内还原每一项决策。失败的情况会直接指向缺失的字段。

对于闸门,应跟踪三项指标:审核人员修改或拒绝输出的比例、每项决定所花费的时间,以及通过闸门后仍然到达客户的事故数量。在很长一段时间内拒绝率为零,并不能证明质量良好,它可能意味着审核人员并未真正认真查看。可以将审核决定与事后审计发现进行对比,以校准闸门的判断。

最后,还要跟踪例外的成本。每一次绕过闸门的行为,例如紧急审批,都应生成一条追踪记录,并在固定期限内复核。例外频繁出现,通常说明层级划分有误。

本周可以开始的实际步骤

本周只需做一件事:挑选一个模型输出会导致对外或资金相关操作的工作流,把它画在一页纸上。标出模型生成内容的每个节点、数据被检索的每个节点、人工查看的每个节点,以及操作被执行的每个节点。然后问自己:仅凭现有记录,能否回答这一流程中某个真实历史案例的审计问题?无法回答的部分,就是你的第一个工程与政策任务。

如果你希望端到端地运行这类流程,包括记录每个步骤、审核人员的批准以及可重放的历史,可以直接在Duaer中进行设置。在那里注册后,团队可以先在真实工作流上测试层级划分和日志规则,再决定是否推广到更大范围。

如需更有针对性的评估,我们也可以为你的场景做方案梳理。告诉我们你正在考虑的工作流,我们会提供一份书面的落地路线图。

https://api.duaer.com/form/c59a907a-3697-4edf-a04d-3ea0fb72fdc8

常见问题

企业应如何为大模型输出建立可审计的日志?

应先列出审计人员和事件响应人员会问的问题,例如当时系统掌握了什么信息、哪些指令在约束它、谁批准了操作,再反推需要记录的字段。通常包括请求标识、模型及版本、提示词模板及版本、检索来源及文档版本、工具调用结果、策略检查结果、审核人及决定,以及发布前的编辑记录。原始数据应单独存储并限制访问,同时确保日志不能被负责监督的团队静默修改。

人工审批闸门应该设置在哪些环节?

建议按影响和可逆性将操作分为三个层级。低影响、可逆的内部草稿和摘要适合抽样审核;影响客户或资金但可以更正的内容,需要审核人员能看到来源并在发布前编辑;不可逆或受监管的操作,例如付款、对外承诺、个人数据披露、医疗或法律建议以及生产系统变更,必须由指定角色明确批准,并记录在审计追踪中。闸门不应对所有内容一刀切,否则审核人员很快会形成习惯性点击。

如何判断人工审批是否只是走形式?

可以观察几项指标:审核人员修改或拒绝输出的比例、单次决定所花的时间,以及通过闸门后仍然到达客户的事故数量。如果某位审批人几秒内就接受了绝大多数事项,或者长期拒绝率为零,通常说明审核并不真正发生。可以定期随机抽取样本做演练,并将审核决定与事后审计结果对比,以校准闸门的有效性。