> For the complete documentation index, see [llms.txt](https://doc.duaer.com/zh/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://doc.duaer.com/zh/guides/llm-red-teaming-offsec-2027.md).

# 2027年LLM红队攻防（Offsec）：你的第一支攻击团队该由谁组成

本文整理自 Duaer 文档站，讨论企业在生产环境中落地大模型系统时，如何组建进攻型红队、选择高价值测试场景、设计首个试点并衡量效果。

## 为什么大模型攻防比想象中难组建

大多数已在生产环境中使用大语言模型的企业，都碰到过同一堵墙。产品团队上线了面向客户的助手或内部智能体，有人问一句“有没有人试过把它搞崩？”，却没有人能自信地回答。安全团队熟悉 Web 应用和 API 的测试方法，但从未测试过行为会随每次提示词变化的系统。AI 团队了解模型，但通常离构建过程太近，很难像攻击者那样思考。差距主要不在工具，而在人员、角色和责任归属：谁去尝试让系统失效，谁来判定什么算失效，以及当发现被忽视时，谁来承担责任。

这正是“LLM red teaming offsec”这类搜索背后的真实问题。团队希望拥有针对语言模型的进攻型安全能力，但往往以为它可以直接挂靠在现有的渗透测试职能之上。实际上，它需要一套不同的技能组合、不同的测试范围，以及在交付流程中清晰的位置。

大模型攻击测试之所以难以配置人员，主要原因在于：传统进攻型安全针对的是相对稳定的目标。Web 应用有明确的输入、已知的框架和有限的漏洞类别。语言模型系统则没有这些边界。它的输入是自然语言，输出具有概率性，真实攻击面还包括检索到的文档、工具权限、记忆机制以及周围的业务流程。测试人员既要理解代码，也要理解语义、上下文和意图。

因此，最常见的人员配置错误，是把这项工作交给手头最空闲的人。一个不了解提示词、检索和工具调用如何相互作用的渗透测试员，只能发现表层问题，会漏掉真正重要的风险。一个非常熟悉模型的数据科学家，则未必知道攻击者如何把一个个小弱点串成真实事件。有效的团队通常至少会结合三种视角：对抗性安全经验、足以阅读系统提示词和日志的技术深度，以及对特定业务中“伤害”具体长什么样的领域知识。

## 进攻型大模型团队能发挥作用的四类场景

进攻型团队只有瞄准正确的目标才有价值。在大多数企业中，高价值场景主要集中在四类。

第一类是**通过内容实施的间接提示词注入**。任何读取邮件、工单、网页或上传文件的系统，都可能被隐藏在这些内容中的指令所操控。攻击者无需直接接触系统，只需要让一份文档进入其处理范围。

第二类是**智能体的工具滥用**。当模型可以查询数据库、发送消息或触发工作流时，问题就从“它会说什么”转变为“它能做什么”。一个有效的测试会检验：精心构造的请求能否触发超出预期范围的工具调用。

第三类是**数据泄露**。攻击者试图提取系统提示词、其他用户的记录，或检索库中的敏感上下文。这往往是法务和合规团队最为关注的场景。

第四类是**对面向客户助手的滥用**。这里关注的是声誉和运营风险：违反政策的回答、诱导获取折扣或退款，以及品牌绝不希望与之关联的内容。

## 按价值与难度为这些场景排序

并非每个场景都值得放在第一轮冲刺中。一种简单的排序方法是从两个维度打分。价值指如果故障在生产环境中发生，所造成的损害有多大，并按其影响的用户数或交易量加权。难度指构建可信测试的成本：需要多大的访问权限，必须编写多少真实的攻击变体，以及区分真实故障与噪声有多困难。

在多数组织中，工具滥用和数据泄露的价值得分较高，难度为中到高，因为它们需要细致的权限梳理和贴近真实的测试数据。面向客户助手的滥用通常价值高、难度较低，因为攻击面清晰可见，测试用例也容易描述。通过内容的间接注入价值高、难度中等，但需要负责文档流水线的团队配合。这样的排序能让权衡一目了然，避免团队从最戏剧化的演示而不是最具后果的风险开始。

## 以正确的方式选择第一个试点

第一个试点应当足够窄，能在几周内完成；同时又要足够重要，使得一项发现能够改变决策。一个好的试点应包括：一个系统、一位会根据结果采取行动的业务负责人、一组固定的攻击类别，以及在测试开始前就书面约定好的“失效”定义。

一种可行的结构如下。选择已在生产环境运行或即将上线、且确实能访问数据或工具的系统。梳理它能读取什么、能执行什么。在选定的类别下编写二十到四十个攻击用例，同时包括明显和隐蔽的变体。运行测试并记录结果，由业务负责人将每个结果归类为“可接受”“需要缓解”或“阻断发布”。输出的不是一份充满评分的报告，而是一份简短的决策清单。

组织层面的安排与技术层面同样重要。试点需要一位能够暂停发布的指定负责人、一位为方法论签字确认的安全负责人，以及一位能够落实修复的工程联系人。缺少这三个角色，红队发现就会变成无人排期的待办积压。

如果你的团队仍在摸索如何在这些角色之间跟踪场景、测试用例和发现，可以在 Duaer 中运行这套流程。它将场景清单、攻击用例和修复负责人集中在一处，使试点不再依赖某个人的电子表格。如果你的团队还需要更全面地了解人才缺口，我们的指南[AI人才短缺与人机协作](https://doc.duaer.com/zh/guides/ai-talent-shortage-human-ai-collaboration-2027/)介绍了如何在专家与通才之间划分工作。

## 如何衡量这项能力是否真正有效

仅统计尝试过多少次攻击，几乎说明不了什么。真正有用的指标应聚焦于从发现到修复的闭环。有多少发现被归类为阻断级别？有多少在下一次发布前已经解决？一个发现从产生到交给负责修复的工程师需要多久？同类故障是否在多个系统中反复出现？如果是，那很可能说明存在共享平台层面的问题，而非孤立缺陷。

也应衡量团队本身。测试人员能否在没有外部顾问帮助的情况下编写新的攻击变体？业务负责人是否理解一次失效在实际中意味着什么？如果一项能力依赖于某一位专家，而这位专家一旦离职就会失去能力，那它还不能算是真正的能力。

最后，要警惕把一次干净的测试结果当作安全的证明。一组通过的测试只能说明：在当天、该模型版本和该提示词下，已知攻击未能成功。应把它视为一个快照，并在模型、提示词、检索来源或工具权限发生变化时重新运行测试集。

## 本周可以做什么

从一次一小时的工作会议开始。召集一个正在运行或即将上线的大模型系统的负责人、一名安全工程师，以及一位来自 AI 或平台团队的成员。围绕三个问题展开讨论：这个系统能读取什么，能执行什么，一次糟糕的结果会让我们付出多大代价。写下四到五条最可能的失效路径，选出价值与可行性组合最高的一条，并为测试和修复各指定一位具名负责人。在第一个闭环完整走通一次之前，不要扩大范围。

如果你希望从这次会议直接进入结构化的测试方案，而无需从零搭建跟踪系统，可以[注册 Duaer](https://www.duaer.com)，在那里设置你的第一个场景和攻击集。

欢迎告诉我们你的应用场景，我们会为你回复一份书面的落地路线建议。提交入口：https://api.duaer.com/form/1fea7709-3f8a-47f7-b4e3-eb5fb90e3213

## 常见问题

### 企业第一次开展大模型红队测试，应该由谁来负责？

通常需要至少三类角色协同：具备对抗性安全经验的测试人员，能阅读系统提示词和日志的技术人员，以及熟悉业务中危害形态的领域负责人。同时还需要一位能暂停发布的负责人、一位确认方法论的安全负责人，以及一位能落实修复的工程联系人。

### 大模型红队测试与传统渗透测试有什么区别？

传统渗透测试针对输入明确、框架已知、漏洞类别有限的系统。大模型系统的输入是自然语言，输出具有概率性，攻击面还包括检索文档、工具权限、记忆和业务流程，因此测试人员需要同时理解语义、上下文和意图，而不仅仅是代码。

### 如何判断大模型红队试点是否有效？

重点看从发现到修复的闭环：阻断级别发现的数量，发布前已解决的比例，发现到达修复工程师的时间，以及同类故障是否跨系统重复出现。此外，还要看团队能否在不依赖外部顾问的情况下编写新的攻击变体。一次通过的测试只是快照，模型、提示词或工具权限变化后需要重新运行。

