Duaer

指南

数据脱敏处理怎么做?2027年企业AI落地前的四道关

本文整理自 Duaer 文档站,围绕企业AI落地中最先遇到的数据合规问题,讲清AI场景下数据脱敏为什么更难、如何分级、怎样选择方法、如何验证并嵌入调用流程。

为什么AI场景里的脱敏比传统报表更难

很多企业在推进AI时,最先遇到的合规问题往往不是模型本身,而是数据。业务人员为了让大模型写出更准的客户回复,直接把客户手机号、身份证号、合同金额整段粘贴进对话框;数据团队为了做测试集,把生产库导出一份副本交给外部标注团队;研发为了调试接口,把带真实姓名的日志原样保留。这些动作每一步看起来都很小,但合在一起,就是企业敏感信息在不知不觉中流出内部边界。

数据脱敏处理,就是在数据被AI系统读取、加工、外发之前,把其中的敏感信息去掉、替换或模糊化,同时尽量保住数据的业务价值。它听起来是一项老技术,但放到AI场景里,难点明显不同。

传统的数据脱敏,多半发生在报表和测试环境里:字段固定,用途单一,脱敏后交给固定的人看。AI场景则不同。大模型接收的是自由文本,敏感信息可能藏在句子中间,比如「张经理上周在杭州的那笔订单」,里面既有人名也有地点和业务线索,靠字段名识别根本抓不全。

另一个难点是多次流转。同一份数据可能先进入知识库,再被向量化,再被提示词拼接,最后写进日志和评测结果。脱敏如果只做了第一步,后面几个环节依然暴露原始信息。所以AI场景里的脱敏,要盯住的是整条数据链路,而不是某一张表。

常见误区:把脱敏理解成删列

最常见的误区,是认为脱敏就是删掉身份证号、手机号这几列。这样做在结构化表里尚可,但会带来两个问题。其一,即使删了直接标识符,剩下的组合信息仍可能指向具体个人。比如某个小城市、某个月份、某类罕见病的组合,就足以反推出身份。其二,删列会让数据失去可用性,模型无法学到「同一客户多次咨询」这类关系,测试结果也就失真。

第二个误区是一刀切。有的团队为了求稳,把所有字段统统遮盖成星号,结果数据完全不可用,业务方转身又去拿原始数据。脱敏做得越粗,越容易催生影子数据,合规风险反而更高。

先分级,再决定脱敏到什么程度

正确的顺序是先分级,后选方法。建议把企业数据粗分为三档:直接标识符,如姓名、证件号、手机号、银行卡号;准标识符,如出生年月、邮编、职位、门店编号,单独看不敏感,组合起来可能识别个人;业务敏感字段,如价格策略、合同条款、未公开财务数据,它们不一定涉及个人,但泄露同样有代价。

分级之后,再决定每一档用什么强度。直接标识符通常需要不可逆处理;准标识符要检查组合后的唯一性;业务敏感字段则更多靠权限和访问范围控制,而不是单纯替换。这一步做完,团队就知道哪些数据可以直接进入AI流程,哪些必须先处理,哪些根本不该进入。关于这种「可用不可见」的合规思路,可以参考本站的数据不出域、可用不可见:2027年企业AI合规怎么落地。

常用手段怎么选,以及脱敏之后如何验证

脱敏手段不少,关键是按用途匹配。遮盖适合展示场景,比如客服界面只显示手机号后四位;泛化适合分析场景,把具体年龄换成年龄段,把精确地址换成城市;假名化适合需要跨表关联的场景,用稳定的替代编码代替真实标识,同时把映射表单独存放、严格限权;加密映射则用于必须还原的场景,原始值以密文保存,只有在授权流程中才能解密。

对AI应用而言,还要特别处理自由文本。常见做法是先用规则加模型的方式识别实体,再按实体类型替换为占位符,比如「某客户」「某门店」。这种替换要保持上下文一致,同一个人在一段对话里应当始终用同一个占位符,否则模型会把两个人当成两个人,推理就会出错。

很多项目做完脱敏就结束了,这其实是半途而废。脱敏后至少要验证两件事。第一是不可还原:用抽样的方式检查,能否仅凭脱敏后的字段,结合公开或内部可得的其他信息,反推出具体个人。第二是仍然可用:用脱敏数据跑一遍原定的业务任务,比如分类准确率、检索召回、报表口径是否一致,确认损失在可接受范围内。

这两件事需要互相制衡。只追求不可还原,数据会变得无用;只追求可用,又可能留下泄露口子。验证报告应当写明每类字段用了什么方法、抽检了多少样本、发现了哪些问题,并由数据安全和业务负责人共同确认。

把脱敏嵌进调用链路,并用指标衡量效果

靠员工自觉遵守脱敏规范,通常撑不过一个季度。更可靠的做法,是把脱敏写进系统流程:数据进入模型网关之前自动识别并替换敏感字段;提示词模板里禁止直接拼接原始证件信息;日志和评测集默认走脱敏通道,只有审批通过的任务才能访问原始库。这样脱敏变成默认行为,而不是例外。

如果团队暂时没有成熟的工程能力,也可以先从一个高频场景切入,比如客服知识问答,把进入模型的字段先统一过一遍规则。Duaer这类平台可以帮助企业把数据接入、字段处理和调用审计串成一条可跑通的流程,适合想快速验证脱敏方案是否可行的团队;但平台只是工具,字段分级和验收标准仍需要企业自己定义。

衡量脱敏,不要只看覆盖率。建议至少跟踪四类指标:敏感字段在进入AI流程前的拦截率,用抽检方式估算;脱敏数据的业务可用性,即关键任务指标相对原始数据的变化幅度;违规外发事件的数量和处置时长;以及日志和评测集中敏感信息的残留情况。每个季度复盘一次,把抽检中发现的漏网字段回填到规则库里,形成闭环。

本周可以做的一件事

本周最值得做的,是挑一个正在使用AI的业务场景,盘点它从数据源到模型、再到日志输出的完整路径,在每个节点标注出现了哪些敏感字段。你会很快发现,真正的风险点往往不在模型,而在某个被遗忘的导出脚本或某份没人清理的测试集。把这张图画出来,就是脱敏工作的起点。

如果你希望把这套流程在实际业务里跑起来,欢迎注册 Duaer,直接体验从数据接入到脱敏调用的完整链路,先用一个小场景验证效果,再决定是否扩展。

我们也可以免费给你一份这个场景的落地路线:说明你的业务场景和数据情况,我们会据此整理一份书面的落地路线。https://api.duaer.com/form/1fea7709-3f8a-47f7-b4e3-eb5fb90e3213

脱敏不是为了让数据变得毫无用处,而是为了让AI在安全的边界内发挥作用:先分级,再选方法,最后用验证和流程把它固定下来。

常见问题

AI场景下的数据脱敏和传统报表脱敏有什么区别?

传统脱敏多发生在字段固定的报表和测试环境中,用途单一。AI场景处理的是自由文本,敏感信息可能藏在句子中间,并且同一份数据会经过知识库、向量化、提示词拼接、日志和评测等多个环节,因此需要覆盖整条数据链路,而不能只处理某一张表。

脱敏只删除手机号和身份证号就够了吗?

通常不够。即使删除了直接标识符,地区、时间、职位等准标识符组合起来仍可能指向具体个人;同时,简单删列会让数据丧失关系信息,影响模型和测试结果。更稳妥的做法是先对字段分级,再按级别选择遮盖、泛化、假名化或加密映射等方法,并检查组合后的可识别性。

脱敏后的数据如何验证既安全又可用?

可以从两方面验证:一是抽样检查仅凭脱敏字段结合其他可得信息能否反推出具体个人,确认不可还原;二是用脱敏数据跑一遍原有业务任务,比较分类准确率、检索召回、报表口径等指标,确认损失在可接受范围内。验证结果应记录方法和样本情况,并由数据安全与业务负责人共同确认。