Duaer

指南

数据脱敏怎么做才够用?2027年企业AI前守住五道关

本文整理自 Duaer 文档站,围绕企业AI项目中的数据脱敏展开,讲解AI场景与传统报表脱敏的差异、常见误区、分级与方法选择、数据流中的放置位置、效果衡量方式,以及可以立即开始的第一步。

为什么AI场景里的脱敏比报表难

很多企业想让大模型读业务数据,第一反应是把客户表、合同、工单整包喂进去。结果是身份证号、手机号、银行卡号直接进入提示词、向量库和调用日志。数据脱敏要解决的,是在数据离开受控边界、进入模型或第三方服务之前,把敏感部分处理掉,同时保留业务上真正需要的信息。这件事听起来是老问题,但放到AI项目里,难度和传统报表完全不同。

传统报表脱敏通常是固定字段打码,比如把手机号中间四位替换成星号,问题就结束了。大模型场景的数据形态复杂得多。客服录音转写、合同正文、邮件往来这类非结构化文本里,敏感信息散落在自由文本中,格式不固定。更麻烦的是准标识符组合:单看某个字段不算敏感,但职位、城市、年龄段和就诊科室拼在一起,就可能重新识别出具体的人。此外,大模型的上下文窗口很大,一次调用往往拼入几十条甚至上百条记录,任何一条漏掉的原文都会被整体带进去。

常见误区:以为删掉姓名列就够了

第一个误区是只删除明显的字段。姓名列删了,备注里仍然写着「张某某已经第三次投诉」,身份证号虽然拆在另一张表里,但通过订单号可以轻松关联回去。第二个误区是只在界面上做遮挡。页面上看到的是打码内容,后台的数据流仍然完整,模型、缓存和日志里都是原文,这等于没有脱敏。第三个误区是一刀切全部替换。把所有数字、人名、地址都换成占位符,模型读到的已经不是业务内容,效果一崩,团队很快会回头要求放开权限,前面的努力全部白费。第四个误区是把脱敏当成一次性项目。新增数据源、新增业务线之后,规则没有人更新,漏检会悄悄增加。

怎么做才对:先分级,再选方法

正确的顺序是先分级,后选方法。通常可以把数据分成三层:直接标识符,如身份证、手机号、银行卡号;准标识符,如生日、邮编、职位与地区的组合;业务敏感信息,如未公开的价格、合同条款、病历细节。不同层级的处理强度不同,直接标识符必须处理,准标识符要看组合风险,业务敏感信息则要看模型是否真的需要它。

方法层面,常见的几种各有取舍。掩码(如 138****5678)保留的是格式和部分位数,主要风险是可能被组合还原,适合展示和人工复核。假名化(同一人映射为同一占位符)保留的是跨记录的关联关系,主要风险是映射表一旦泄露,等于全部还原,必须单独管控。泛化(具体年龄改为年龄段)保留的是统计意义上的分布,主要风险是样本少时仍可能反推个体。删除或遮蔽整段几乎不保留信息,主要风险是上下文被破坏,影响模型理解。

对于非结构化文本,实践中通常是两段式:先用规则覆盖格式化字段,如手机号、身份证号、银行卡号的正则匹配;再用实体识别模型补充人名、地址、机构名等自由文本中的敏感信息。规则负责确定性的部分,模型负责灵活的部分,两者都要抽样核对。

脱敏应该放在数据流的哪一段

一条合理的数据流大致是:数据源,经清洗和抽取,进入脱敏,再进入向量化或提示词,随后调用模型,输出之后再做一次检测,最后才写入日志。关键有两点。第一,脱敏必须发生在进入向量库和提示词之前,否则向量库里永久保存的就是原文。第二,日志和缓存同样需要脱敏,很多团队忽略了这一点,结果安全审计时发现调试日志里全是完整的客户信息。

关于数据不离开企业边界、在域内可用但不可见的整体思路,可以参考《数据不出域、可用不可见:2027年企业AI合规怎么落地》。脱敏是其中最具体的一道操作。

怎么衡量脱敏是否有效

脱敏做得好不好,不能只靠感觉。可以从四个方面看。一是敏感字段的漏检率,做法是每次上线前抽取一批样本,由人工逐条核对,统计规则和模型漏掉了多少。二是可用性损失,用同一套测试问题,对比脱敏前后模型回答的准确率,判断业务是否还能跑。三是可逆性控制,检查映射表由谁访问、访问是否有审计记录。四是泄露面,检查原文是否仍残留在日志、缓存、向量库和第三方服务的请求记录中。

这里有一个常见误解需要澄清:脱敏不等于匿名化。脱敏后的数据如果仍能通过其他途径关联回个人,在多数情况下依然属于个人信息,需要按照相应法规继续管理。是否满足合规要求,应以法务和合规团队的判断为准,技术团队不要自行下结论。

本周就能做的一件事

选一个正在喂给模型的数据源,比如客服工单或合同库,随机抽取一批样本,由两个人独立标出其中的敏感字段,再和现有脱敏规则的输出对比。漏检的部分就是你当前最需要补的规则。然后把字段按前面说的三层分级,列出哪些必须替换、哪些可以泛化、哪些应当直接从输入中剔除。这一步做完,你就有了第一份可执行的脱敏清单。脱敏不是一次性的合规动作,而是一套需要随数据源持续维护的流程。

如果你希望把这套分级、替换、回查和日志脱敏的流程直接跑起来,可以在 Duaer 里先注册试用,用你自己的样本数据做一轮验证,再决定是否扩大范围。注册入口在 https://www.duaer.com ,欢迎实际体验后再判断是否适合你的团队。

如果你的场景比较具体,比如客服、合同审阅或内部知识问答中哪一类数据最需要先脱敏,我们可以免费给你一份这个场景的落地路线。告诉我们你的场景,我们会把书面路线发回给你。https://api.duaer.com/form/1fea7709-3f8a-47f7-b4e3-eb5fb90e3213

常见问题

大模型调用前,企业数据脱敏应该在哪个环节做?

脱敏应发生在数据进入向量库和提示词之前。如果先进入向量库,原文就会被永久保存。日志和缓存同样需要脱敏,否则调试日志中仍可能留存完整的客户信息。

数据脱敏和匿名化有什么区别?

脱敏后的数据如果仍能通过其他途径关联回个人,在多数情况下依然属于个人信息,需要继续按相应法规管理。两者的界定和是否合规,应以法务和合规团队的判断为准,技术团队不宜自行下结论。

怎么判断脱敏规则是否够用?

可以从四方面检验:抽样人工核对敏感字段的漏检率;对比脱敏前后模型回答的准确率,评估可用性损失;检查映射表的访问权限和审计记录;确认原文没有残留在日志、缓存、向量库和第三方服务的请求记录中。