Duaer

指南

2027 年 LLM 红队岗位:先招哪些角色,为什么

本文整理自 Duaer 文档站,探讨企业如何把 LLM 红队测试从上线前的一次性检查,变成持续运行的日常工作,并说明应优先招聘哪些角色、如何衡量岗位成效。

红队工作的实际范围与岗位名称

LLM 红队测试,是指在真实用户发现问题之前,主动对模型或基于大模型的应用进行探测,找出其中的失败情况。实际工作通常包括提示词注入、越狱攻击、检索来源中的敏感数据泄露、有害或违反政策的输出、看似自信实则错误的事实性回答,以及对于智能体而言,在错误输入下误用工具(例如错误地发送邮件或查询数据库)。

岗位名称五花八门,常见的有 AI 安全测试工程师、LLM 评估工程师、AI 安全分析师、信任与安全专员,有时也只写作提示词测试员。阅读招聘信息时,不要只看职位名称,而要核对岗位描述的工作内容。一个有用的红队岗位应包括编写攻击用例、复现失败、跟踪问题直至关闭,并把结果反馈给提示词、防护规则和检索设置。如果招聘信息只提到人工审阅输出,那它更接近质量保障,而不是红队测试。

招聘为何停滞与常见误区

招聘困难首先源于技能组合。这个人需要具备安全思维,有足够的机器学习素养来理解模型如何失效,还要有足够的业务领域知识,才能判断某个输出是真的有害,还是仅仅对业务来说不对。只具备其中两项的候选人很常见,三项都具备的则很少,而且他们通常已经在职。

其次,这个岗位没有天然的归属部门。安全团队关注网络和应用,数据科学团队关注准确率与基准测试,产品团队关注用户体验,红队测试恰好落在三者之间,因此在分配预算时很容易被忽略。再次,成功标准难以界定。一名红队人员发现了二十个问题,可能是出色的工作,也可能是测试方向错了。没有共识的评判标准,管理者难以评估绩效,候选人也看不到清晰的职业路径。

最常见的误区,是直接招一名通用型渗透测试工程师,并默认 LLM 相关能力会随之而来。传统安全技能只能部分迁移。自然语言层面的提示词注入和数据泄露,与 SQL 注入并不相似,缺乏机器学习背景的测试人员往往会漏掉对业务最关键的失效模式。

第二个误区是把红队测试只当作上线前的关卡。模型会更新,检索内容会变化,提示词也会逐渐漂移。上线前只跑一次测试,几乎无法说明六个月后系统的状况。第三个误区是只招一名资深人员,却不给他配套测试基础设施,例如带版本管理的攻击集、问题记录日志,以及每次变更后重新运行测试的方式。第四个误区是岗位描述列了十项技能和两门语言,这样的招聘信息既吸引不到人,即便吸引到,也往往是无法完成核心任务的人。

按价值与难度排序的应用场景

并非每个 LLM 应用都需要同等规模的红队能力。决定从哪里开始,一个实用的方法是从两个维度为各场景打分:一是失效会造成多大损害,二是测试得有多难做好。

面向客户的聊天机器人通常应排在第一位。它的输入难以预测,输出公开可见,失效情况也很容易被截图传播,失效影响涉及品牌、政策和法律风险,测试难度属于中等。

内部知识助手排在第二位。检索内容跨越权限边界导致的泄露是一项严重且常被忽视的风险,影响高,测试难度同样属于中等。

能够调用工具或写入系统的智能体风险最高,但也最难测试,应在基本控制措施和日志记录到位之后再推进,排在第三位。稳定提示词的回归测试成本最低、难度较低,是自动化最能发挥价值的环节,适合持续开展。

先招哪个岗位

对大多数组织而言,第一个招聘的不应是一支完整的红队,而是一名同时具备测试纪律、一定安全与产品理解力的人,由他担任协调者。这个人负责维护攻击集,决定什么算作失效,并与产品负责人和一名安全工程师组成短周期的协作机制。他不一定是团队里最厉害的攻击者,但需要做到稳定、有文档记录,并能向不从事 AI 工作的人讲清楚每一个发现。

在撰写岗位职责时,建议只保留三项核心任务:为选定的应用维护测试攻击集,在每次发布前执行结构化测试,并以复现步骤和负责人的形式报告发现的问题。再加上一项成功指标,例如从确认问题到上线修复所需的时间。同时让这名新人与现有安全工程师结对工作,避免知识只集中在一个人的脑子里。

要在团队内部建立能力,培训路径与招聘同样重要。我们的指南 2027 年 AI 安全合规培训指南 介绍了如何缩小安全人员与 AI 功能开发者之间的差距。

如果你希望先跑通第一轮测试,又不想从零搭建所有跟踪工具,可以在 Duaer 中运行同样的工作流程,从共享攻击集,到问题记录日志,再到每次变更后的重新测试。访问 https://www.duaer.com 开始使用。

如何衡量这个岗位的成效

衡量红队岗位,应看覆盖面和速度,而不是发送了多少条提示词。有用的指标包括:针对当前版本已测试了多少个不同的攻击类别;从确认失效到部署修复需要多长时间;此前已修复的问题在后续版本中是否保持修复状态;另一名测试人员能复现第一名测试人员报告的问题的频率有多高。如果产品已经变化,而攻击集三个月都没有更新,说明这个岗位正在流于形式。

关于上线前 LLM 红队测试的基本概念,可以参考 2027 年 LLM 红队测试指南。在确定第一轮测试范围时,它是一份有用的参考资料。

本周可以采取的一步

为你最先要测试的那个应用写一张一页纸的岗位卡片。列出三项核心任务,指定一名负责人,然后从自己的客服日志中,以及乐于找乐子尝试攻破该工具的同事那里,收集五十条真实的对抗性提示词。运行一次,记录结果,并就什么算失效达成一致。如果一个团队能在一周内完成这些,它就已经具备了红队工作的雏形。等工作内容变得清晰、评判标准也写明白之后,再考虑招聘。

如果你希望在 Duaer 上注册并搭建第一轮测试,请访问 https://www.duaer.com 注册试用。

告诉我们你的应用场景,我们会为你发送一份书面的落地路线建议。https://api.duaer.com/form/c59a907a-3697-4edf-a04d-3ea0fb72fdc8

常见问题

企业招聘 LLM 红队人员,最需要具备哪些能力?

通常需要三类能力的结合:安全思维,对机器学习如何失效有基本理解,以及足够的业务领域知识,能判断输出是真正有害还是仅仅不符合业务要求。同时,结构化的测试习惯、清晰的文档记录能力和向非 AI 人员解释问题的沟通能力也很重要。

还没有专职红队岗位,能否先由现有团队开展 LLM 红队测试?

可以。建议先为一个应用建立攻击集,由产品负责人与安全工程师组成小规模的固定周期,每次发布前运行测试,并记录失效及其修复情况。团队先把流程跑通、把判定标准写清楚,再决定是否需要专职人员。

LLM 红队测试应该多久进行一次?

不应只在上线前做一次。模型更新、检索内容变化或提示词漂移,都可能引入新的失效。建议每次发布或关键变更前运行结构化测试,并对稳定的提示词进行定期回归测试,回归测试可以逐步自动化。