> For the complete documentation index, see [llms.txt](https://doc.duaer.com/zh/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://doc.duaer.com/zh/guides/llm-red-teaming-prompts.md).

# 2027年LLM红队测试提示词：为什么多数企业测试集都不够用

本文整理自 Duaer 文档站，探讨企业在上线前进行 LLM 红队测试时，为何常见的公共越狱提示词清单难以反映真实风险，并给出按信任边界编写测试、定义失败标准和衡量趋势的做法。

## 为什么提示词清单不等于测试策略

越来越多的企业团队会在 LLM 应用上线前运行红队提示词。问题在于做法本身。这类提示词清单通常是从公开越狱示例复制来的，保存在共享表格里，上线前跑一次，之后就被遗忘。仪表盘变绿，大家便默认应用是安全的。但这份清单很少反映真实用户、内部员工或有动机的攻击者会如何试图突破你的系统。结果是虚假的安心感，而这比明确知道存在漏洞更危险。

清单只是输入，而不是方法。它能告诉你尝试过什么，却无法说明你要保护的是什么，也无法判断这些尝试是否具有代表性。公开的越狱集合有助于识别已知模式，但它们主要面向通用聊天模型。你的应用不同：它有系统提示词，能检索内部文档，可能调用 CRM 或工单系统的工具，并且面向特定的用户群体。一条在裸模型上失败的提示词，在你的技术栈里可能毫无危害；而一条从未出现在公开清单中的提示词，却可能暴露你的客户数据。

务实的做法是从系统的资产和信任边界出发，再编写针对这些边界的提示词。问一问：模型能看到什么，能执行什么操作，谁被允许看到或执行这些内容。每一个答案都应成为一个测试目标。

## 优先覆盖的四类攻击

大多数企业应用都面临一小组相似的风险类别。把这几类覆盖好，比编写数百条随机变体更重要。

第一类是指令覆盖。这类提示词试图让模型忽略系统指令、采用新的角色设定，或把用户文本视为高于开发者规则的优先级。第二类是数据外泄，包括提取系统提示词、泄露用户无权查看的检索文档内容，以及从其他会话中获取信息。第三类是工具滥用。当模型可以调用函数时，攻击者会试图让它以非预期的参数调用，串联超出用户权限的操作，或把数据发送到外部端点。第四类是不合规输出。在金融、医疗或人力资源等受监管领域，风险在于给出自信却错误的答复，或提供业务本不允许提供的建议。

每一类都需要单独的提示词集、预期行为和负责人。把它们混在一个不加区分的清单里，会让分诊变慢，结果也难以落实行动。

## 常见误区：结果为什么会误导人

有四个误区反复出现。第一，直接照搬公开越狱提示词，而不结合自身应用的语境进行调整。第二，只测试一次，这只能说明某个模型版本和某个提示词模板的情况，无法代表你将运行数月的系统。第三，仅凭回复中是否包含拒绝用语来评分。模型可能一边拒绝，一边仍泄露部分受保护内容，或以一种隐蔽的方式服从请求，而关键词检查无法发现这些问题。第四，孤立地测试模型。许多故障其实发生在检索层、拼接用户输入的提示词模板，或工具的权限设置上。如果只测试模型，就等于在测试最不可能出现泄露的环节。

## 如何编写贴合真实系统的测试提示词

以一个助手为例，比如一个内部 HR 助手，它可以读取政策文档，并且仅对经理开放团队薪酬区间的查看权限。针对每一条信任边界，先写下预期行为，再编写变体。变体应包括：直接请求、换一种说法的请求、以“总结某份文档”为框架的请求、角色扮演设定、用户逐步构建上下文的多轮升级，以及使用第二语言的请求。每条变体都应有预期结果：拒绝、只返回已授权的字段，或引用政策但不泄露受限数据。

这种方法产生的测试集具体、易读，也便于维护。当有人问某个用例为什么存在时，答案就是它所保护的那条边界。许多团队发现，写出预期行为比写出攻击提示词更难，而这种难度正是这项工作的真正价值，因为它迫使业务方明确决定：这个助手应该做什么。

如果你的团队正从零开始搭建这一循环，流程很快就会变得混乱：提示词放在一个文件里，结果放在另一个文件里，没人知道哪个提示词版本导致了哪个故障。Duaer 可以帮你把测试集、运行记录和结果统一管理，让每一次提示词或模型的改动都能用相同的用例进行检验。它不会替你判断在你的语境下什么算有害，但能让这个循环可以重复执行。

## 定义失败标准与衡量进展

通过或失败的评判标准必须在结果出来之前写好，否则团队会在事后就每个用例争论不休。建议结合自动化检查与人工复核。自动化检查适合判断明确的信号，例如出现了受限字段、调用了未经批准的工具，或系统提示词片段出现在输出中。人工复核则用于需要判断的情形，例如某个部分性回答是否构成可接受的披露。定期抽样复核案例，并追踪评审人之间的分歧。如果两位评审人经常意见不一，说明评判标准过于模糊。

单一的安全评分几乎总是具有误导性。应按攻击类别和信任边界追踪覆盖情况，看清哪些领域已经测试过、哪些还没有。同时追踪回归：上一版本通过的用例中，有多少在这一版本失败了。还要追踪分诊耗时，以及真正交到负责人手上的故障比例。观察多个版本之间的趋势。回归数量稳定或下降、同时覆盖范围不断扩大，比任何一个醒目的数字更能诚实地反映进展。应与自身过去的结果做纵向比较，而不是拿供应商声称的、在他人基准上的表现来做对比。

核心要点很简单：红队提示词清单只有在与系统边界挂钩、被反复运行、并依据书面预期进行判定时，才真正有用。

## 本周行动

选择一个已经在使用或即将上线的 AI 应用，列出它最重要的三条信任边界，例如它能读取的数据、能执行的操作，以及绝不能生成的内容。针对每条边界，至少用四种变体类型各编写十条提示词，并在每条旁边写下预期行为。对当前版本运行这些提示词，记录每一个失败，并附上提示词版本和模型版本，同时指定一名负责人进行分诊。在下一次提示词修改后，用同一套用例再次运行。

如果你希望不必再拼凑表格和脚本就能运行这一循环，可以访问 https://www.duaer.com 注册，并在 Duaer 中设置测试集和运行历史。先从一个应用、一条边界开始，待流程稳定后再逐步扩展。

如果你正在考虑如何在多个 AI 应用中组织红队测试，请告诉我们你的具体场景，我们会为你整理一份书面的推进路线。https://api.duaer.com/form/c59a907a-3697-4edf-a04d-3ea0fb72fdc8

## 常见问题

### 企业应该多久对 LLM 应用做一次红队测试？

不应只在上线前测试一次。模型版本、提示词模板、检索数据和工具权限任何一项变化，都可能引入新的风险。比较务实的做法是把同一套用例纳入每次发布前的固定流程，并在提示词或模型改动后重新运行。

### 红队测试应该覆盖哪些风险类别？

通常可以先覆盖四类：指令覆盖、数据外泄、工具滥用和不合规输出。每一类都应有独立的提示词集、预期行为和负责人。在受监管行业中，不合规输出的优先级往往更高。

### 如何判断红队测试的结果是否可靠？

关键在于事先定义通过与失败的标准，把自动化检查和人工复核结合起来，并定期抽样复核、追踪评审人之间的分歧。如果评审人经常意见不一，说明评判标准需要细化。同时应关注覆盖范围和回归趋势，而不是只看单一的安全评分。

