Duaer

指南

数据脱敏技术怎么用?2027年企业AI落地别误伤业务

本文整理自 Duaer 文档站,讨论企业在大模型和智能体场景中如何做数据脱敏:既要保护敏感信息,又不能让模型因数据失真而失效,并给出分类、选策略和验证的可落地思路。

为什么脱敏在AI场景里特别难

很多企业在推进大模型应用时,都会遇到同一个尴尬:业务部门希望把客户合同、工单记录、病历摘要直接交给模型处理,法务和安全团队却不同意;数据团队想用真实数据做测试或微调,又担心一旦外泄就无法收场。于是有人把所有敏感字段统一替换成「***」,结果模型看到的是一堆无意义的符号,回答质量急剧下降,业务方很快失去耐心。数据脱敏本来是为了让数据「能用又不泄露」,但在AI场景里,如果只做一刀切的遮蔽,往往两头都不讨好。

传统的数据脱敏多用于报表和测试库,场景相对固定:字段结构清楚,使用者只需要看到脱敏后的样子,不需要理解内容。大模型和智能体则不同,它们要读懂一段文本的语义,还要在多轮对话中保持前后一致。比如同一个客户姓名在一份合同里出现了十次,如果每次替换成不同的假名,模型就会以为是十个人;如果替换规则不统一,合同条款之间的关联也会断掉。

另一个难点在于非结构化数据。邮件、会议纪要、客服录音转写稿里的敏感信息往往藏在自然语句中,「我下周去北京找张经理,他的电话是……」这样的句子,靠正则表达式很难完整覆盖,漏掉一处就可能形成合规风险。

常见误区:把脱敏当成一次性动作

第一个误区是认为脱敏就是替换几个字段。实际上,脱敏是一条链路:数据从哪里来、经过哪些环节、落到哪个模型或哪个人手里,每个环节都可能需要不同的处理强度。第二个误区是追求「完全不可识别」。对于业务分析而言,过度脱敏会让数据失去统计意义;对于模型训练而言,失真的数据会直接拉低效果。第三个误区是只在上线前做一次检查,之后数据源新增字段、业务口径调整,原来的规则很快失效。

先分类,再选技术

脱敏技术没有唯一的正确答案,关键是按用途匹配。常见的方法包括:掩码(保留部分字符,如手机号保留后四位)、泛化(把精确年龄改为年龄段,把详细地址改为区县)、假名化(用一致的替代值替换同一实体,保证上下文关联不断)、加噪(对数值型数据加入受控扰动)以及令牌化(用可逆映射替换原值,密钥由独立系统保管)。

选择时可以问三个问题:这份数据接下来要被谁看到?是否需要在事后还原?业务判断依赖的是精确值,还是分布和趋势?例如,客服质检场景通常需要保留情绪和问题类型,但可以泛化客户身份;模型调试场景则更适合假名化,因为要保持实体之间的关系。

怎么做才对:按字段分级,再定策略

一个可以落地的做法是建立三张表。第一张是字段清单,标明每个数据源中哪些属于直接标识符、哪些属于准标识符(如出生日期加邮编组合后可能唯一定位个人)。第二张是分级表,把数据分为公开、内部、敏感、高度敏感四档,每档对应不同的脱敏强度和可访问范围。第三张是策略表,规定每类字段在每种用途下采用哪种方法。

这套流程在试点阶段很容易跑通,但在多个系统之间同步时常会出问题。如果你希望把分级和策略表直接在 Duaer(https://www.duaer.com)里搭起来,先用一小批真实样本验证规则是否误伤业务,是比较稳妥的起点。

合规边界也需要同步厘清。很多敏感数据要求留在本域内处理,脱敏并不等于可以随意外发,这一点在数据不出域、可用不可见:2027年企业AI合规怎么落地中有更详细的讨论,值得在方案设计前对齐。

怎么验证:可用性和再识别风险要一起看

脱敏做完之后,需要两类检验。第一类是可用性:抽取一批脱敏前后的样本,看模型的分类准确率、抽取字段的完整率、统计分布是否发生明显偏移。如果业务指标下降超出可接受范围,就要回头调整策略,而不是简单地放宽或收紧所有规则。第二类是再识别风险:用脱敏后的数据加上公开信息,尝试能否还原出具体个人或企业,评估组合字段是否仍然可能唯一定位。

这两类检验最好写进上线流程的固定环节。关于上线前应检查哪些安全与合规事项,可以参考2027年AI安全合规:试点上线前的五项检查,把脱敏效果纳入同一张清单。

本周可以做的一件事

不必等待完整的数据治理体系建成。本周可以只选一个正在使用大模型的业务场景,列出它涉及的全部字段,逐一标注是直接标识、准标识还是普通业务信息。然后取五十条左右的真实样本,分别用掩码和假名化两种方式处理,让业务同事各看一遍结果,记录哪些信息被误伤、哪些关联被打断。这个小实验的结果,通常比任何理论讨论都更能说明下一步该怎么定规则。

如果你的团队已经在推进大模型应用,可以到 https://www.duaer.com 注册试用,把脱敏流程放进真实场景里验证,看看分级规则和业务效果之间的平衡点落在哪里。

数据脱敏的目标不是让数据变得无法读取,而是在合规边界内保留足够的业务信息,让AI既安全又有用。

如果你能描述清楚所在行业、要处理的数据类型和想接入的AI场景,我们可以免费给你一份这个场景的落地路线。把情况告诉我们,我们会把书面路线发回给你。

https://api.duaer.com/form/1fea7709-3f8a-47f7-b4e3-eb5fb90e3213

常见问题

大模型应用中,数据脱敏和直接替换成***有什么区别?

一刀切替换成统一符号会让模型丢失语义和实体之间的关联,回答质量明显下降。更合理的做法是按字段用途选择掩码、泛化、假名化等方法,在保护隐私的同时保留业务所需的信息。

企业应该如何判断脱敏效果是否合格?

通常要做两类检验:一是可用性检验,比较脱敏前后模型的分类准确率、字段抽取完整率和统计分布;二是再识别风险检验,评估脱敏数据结合公开信息后是否仍能定位到具体个人或企业。两者都通过,才适合进入下一步。

脱敏后的数据可以直接交给外部模型或第三方处理吗?

不能一概而论。很多敏感数据有本域内处理的合规要求,脱敏并不等于可以随意外发。上线前需要先与法务和安全团队对齐数据出域的边界。