指南
2027年LLM红队测试提示词:为什么多数企业测试集都不够用
本文整理自 Duaer 文档站,探讨企业在上线前进行 LLM 红队测试时,为何常见的公共越狱提示词清单难以反映真实风险,并给出按信任边界编写测试、定义失败标准和衡量趋势的做法。
为什么提示词清单不等于测试策略
越来越多的企业团队会在 LLM 应用上线前运行红队提示词。问题在于做法本身。这类提示词清单通常是从公开越狱示例复制来的,保存在共享表格里,上线前跑一次,之后就被遗忘。仪表盘变绿,大家便默认应用是安全的。但这份清单很少反映真实用户、内部员工或有动机的攻击者会如何试图突破你的系统。结果是虚假的安心感,而这比明确知道存在漏洞更危险。
清单只是输入,而不是方法。它能告诉你尝试过什么,却无法说明你要保护的是什么,也无法判断这些尝试是否具有代表性。公开的越狱集合有助于识别已知模式,但它们主要面向通用聊天模型。你的应用不同:它有系统提示词,能检索内部文档,可能调用 CRM 或工单系统的工具,并且面向特定的用户群体。一条在裸模型上失败的提示词,在你的技术栈里可能毫无危害;而一条从未出现在公开清单中的提示词,却可能暴露你的客户数据。
务实的做法是从系统的资产和信任边界出发,再编写针对这些边界的提示词。问一问:模型能看到什么,能执行什么操作,谁被允许看到或执行这些内容。每一个答案都应成为一个测试目标。
优先覆盖的四类攻击
大多数企业应用都面临一小组相似的风险类别。把这几类覆盖好,比编写数百条随机变体更重要。
第一类是指令覆盖。这类提示词试图让模型忽略系统指令、采用新的角色设定,或把用户文本视为高于开发者规则的优先级。第二类是数据外泄,包括提取系统提示词、泄露用户无权查看的检索文档内容,以及从其他会话中获取信息。第三类是工具滥用。当模型可以调用函数时,攻击者会试图让它以非预期的参数调用,串联超出用户权限的操作,或把数据发送到外部端点。第四类是不合规输出。在金融、医疗或人力资源等受监管领域,风险在于给出自信却错误的答复,或提供业务本不允许提供的建议。
每一类都需要单独的提示词集、预期行为和负责人。把它们混在一个不加区分的清单里,会让分诊变慢,结果也难以落实行动。
常见误区:结果为什么会误导人
有四个误区反复出现。第一,直接照搬公开越狱提示词,而不结合自身应用的语境进行调整。第二,只测试一次,这只能说明某个模型版本和某个提示词模板的情况,无法代表你将运行数月的系统。第三,仅凭回复中是否包含拒绝用语来评分。模型可能一边拒绝,一边仍泄露部分受保护内容,或以一种隐蔽的方式服从请求,而关键词检查无法发现这些问题。第四,孤立地测试模型。许多故障其实发生在检索层、拼接用户输入的提示词模板,或工具的权限设置上。如果只测试模型,就等于在测试最不可能出现泄露的环节。
如何编写贴合真实系统的测试提示词
以一个助手为例,比如一个内部 HR 助手,它可以读取政策文档,并且仅对经理开放团队薪酬区间的查看权限。针对每一条信任边界,先写下预期行为,再编写变体。变体应包括:直接请求、换一种说法的请求、以“总结某份文档”为框架的请求、角色扮演设定、用户逐步构建上下文的多轮升级,以及使用第二语言的请求。每条变体都应有预期结果:拒绝、只返回已授权的字段,或引用政策但不泄露受限数据。
这种方法产生的测试集具体、易读,也便于维护。当有人问某个用例为什么存在时,答案就是它所保护的那条边界。许多团队发现,写出预期行为比写出攻击提示词更难,而这种难度正是这项工作的真正价值,因为它迫使业务方明确决定:这个助手应该做什么。
如果你的团队正从零开始搭建这一循环,流程很快就会变得混乱:提示词放在一个文件里,结果放在另一个文件里,没人知道哪个提示词版本导致了哪个故障。Duaer 可以帮你把测试集、运行记录和结果统一管理,让每一次提示词或模型的改动都能用相同的用例进行检验。它不会替你判断在你的语境下什么算有害,但能让这个循环可以重复执行。
定义失败标准与衡量进展
通过或失败的评判标准必须在结果出来之前写好,否则团队会在事后就每个用例争论不休。建议结合自动化检查与人工复核。自动化检查适合判断明确的信号,例如出现了受限字段、调用了未经批准的工具,或系统提示词片段出现在输出中。人工复核则用于需要判断的情形,例如某个部分性回答是否构成可接受的披露。定期抽样复核案例,并追踪评审人之间的分歧。如果两位评审人经常意见不一,说明评判标准过于模糊。
单一的安全评分几乎总是具有误导性。应按攻击类别和信任边界追踪覆盖情况,看清哪些领域已经测试过、哪些还没有。同时追踪回归:上一版本通过的用例中,有多少在这一版本失败了。还要追踪分诊耗时,以及真正交到负责人手上的故障比例。观察多个版本之间的趋势。回归数量稳定或下降、同时覆盖范围不断扩大,比任何一个醒目的数字更能诚实地反映进展。应与自身过去的结果做纵向比较,而不是拿供应商声称的、在他人基准上的表现来做对比。
核心要点很简单:红队提示词清单只有在与系统边界挂钩、被反复运行、并依据书面预期进行判定时,才真正有用。
本周行动
选择一个已经在使用或即将上线的 AI 应用,列出它最重要的三条信任边界,例如它能读取的数据、能执行的操作,以及绝不能生成的内容。针对每条边界,至少用四种变体类型各编写十条提示词,并在每条旁边写下预期行为。对当前版本运行这些提示词,记录每一个失败,并附上提示词版本和模型版本,同时指定一名负责人进行分诊。在下一次提示词修改后,用同一套用例再次运行。
如果你希望不必再拼凑表格和脚本就能运行这一循环,可以访问 https://www.duaer.com 注册,并在 Duaer 中设置测试集和运行历史。先从一个应用、一条边界开始,待流程稳定后再逐步扩展。
如果你正在考虑如何在多个 AI 应用中组织红队测试,请告诉我们你的具体场景,我们会为你整理一份书面的推进路线。https://api.duaer.com/form/c59a907a-3697-4edf-a04d-3ea0fb72fdc8
常见问题
企业应该多久对 LLM 应用做一次红队测试?
不应只在上线前测试一次。模型版本、提示词模板、检索数据和工具权限任何一项变化,都可能引入新的风险。比较务实的做法是把同一套用例纳入每次发布前的固定流程,并在提示词或模型改动后重新运行。
红队测试应该覆盖哪些风险类别?
通常可以先覆盖四类:指令覆盖、数据外泄、工具滥用和不合规输出。每一类都应有独立的提示词集、预期行为和负责人。在受监管行业中,不合规输出的优先级往往更高。
如何判断红队测试的结果是否可靠?
关键在于事先定义通过与失败的标准,把自动化检查和人工复核结合起来,并定期抽样复核、追踪评审人之间的分歧。如果评审人经常意见不一,说明评判标准需要细化。同时应关注覆盖范围和回归趋势,而不是只看单一的安全评分。