指南
Pharmacovigilance AI Agent 2027:先试点哪个安全工作流
本文整理自 Duaer 文档站,探讨药物警戒团队如何选择 AI Agent 的第一个试点工作流,覆盖价值与风险评估、影子运行设计、升级规则和审计要求。
为什么药物警戒的第一个工作流更难选
药物警戒团队处在数量大与零容错的交汇点。不良事件报告来自自发报告人、临床试验、已发表文献、呼叫中心,并越来越多地来自面向患者的渠道。每一份报告都需要经过接收、完整性核查、去重、编码、因果关系评估,并在法规时限内完成上报。人手增长通常跟不上病例量的增长,因此管理层开始问:AI Agent 能否接管这条链路的一部分?真正的痛点不是缺少想法,而是选择一个 Agent 能够提供帮助的第一个工作流,同时又不会制造一个潜伏的错误,让它在检查中暴露,或者更糟,出现在患者的记录里。
在大多数行业,糟糕的第一次试点只会浪费预算。在药物安全领域,糟糕的第一次试点还可能带来监管风险。每一个输出最终都可能进入病例档案、信号评估或申报材料。因此,问题就从「Agent 能做什么?」变成了「Agent 出错时会发生什么,谁会发现?」
第二个难点在于,这项工作是一条链,而不是一个孤立的任务。接收环节取决于报告是如何收到的;去重取决于叙述是如何写成的;编码取决于报告人描述的质量。如果 Agent 被插入到错误的环节,它就会继承上游的噪声,并以自信的语气把错误传递到下游。很多团队只有在试点已经接触到真实病例之后,才会发现这一点。
第三个难点来自数据本身。叙述多为自由文本,往往不完整,有时使用多种语言,并且常常把临床细节与行政噪声混在一起。一个在干净演示数据集上表现良好的 Agent,在安全团队实际工作的杂乱收件箱中,效果可能会急剧下降。
团队常犯的错误
最常见的错误是一开始就采用最雄心勃勃的框架:端到端的自主病例处理。它在指导委员会上听起来很有说服力,但它要求 Agent 同时在每个阶段做决策。一旦出错,没有人能判断是哪个阶段造成的。
第二个错误是因为听起来具有战略意义而选择信号检测。信号工作确实有价值,但它依赖长期、一致的历史数据,依赖对统计方法的明确责任归属,也依赖约定好的升级路径。一个第一天就需要满足所有这些条件的试点,通常会停滞不前。
第三个错误是只衡量速度。一个把病例关闭速度提高一倍、却漏掉一小部分严重病例的试点,并不算成功。对严重及非预期事件的召回率才是最重要的指标,而当仪表盘只庆祝处理量时,它很容易被忽略。
按价值与风险而非热情来梳理工作流
一个实用的方法是把所有候选工作流列在一页纸上,并沿两个维度打分。第一个维度是价值:病例量、当前周期时长,以及审核人员在重复性步骤上花费的时间。第二个维度是风险:一旦出错会带来多大的监管影响,以及输出结果能否被轻易撤回或复核。
在大多数安全团队中,落在高价值、低风险象限的工作流包括:筛查文献中的相关病例报告、标记可能的重复报告供人工确认,以及检查接收表单中是否缺失必填字段。编码建议处于中间位置,因为它们有用,但仍需要专家签字确认。因果关系评估和最终的监管申报则处于高风险区域,不应作为第一个试点。
这种打分方法最好用过去的病例来检验,而不是在会议上争论。抽取一批已关闭的病例,看看该工作流会如何表现,并统计其中有多少病例中 Agent 的建议会改变最终结果。如果团队希望把打分和第一次影子测试放在同一个地方完成,可以使用 Duaer 来组织候选清单、测试集和审核记录,从而让比较过程保持可追溯。选择供应商时也适用同样的逻辑:先确定工作流,再依据它来评估供应商。关于这种先后顺序的更广泛讨论,可参阅在选择供应商之前如何挑选 AI 制药应用场景的指南。
把第一个试点设计为影子运行
最安全的第一次部署通常是影子运行。Agent 与人工审核人员并行处理新收到或最近关闭的病例,但它的输出不用于任何决策。每一条 Agent 建议都与人工结果进行比对,分歧之处由资深审核人员复核。
影子运行需要一个黄金标准。使用一组已关闭的病例,最好覆盖过去十二个月,并由经验丰富的审核人员进行标注。应有意纳入较难的病例:多语言叙述、缺失日期的病例,以及被怀疑为重复、但最终证实为独立事件的病例。一个只在简单病例上表现良好的 Agent,无法经受住生产环境的考验。
升级规则必须在试点开始前写清楚。任何被审核人员或 Agent 标记为严重、致死或可能属于非预期的病例,都应立即转交人工处理,无论 Agent 给出的优先级评分如何。在任何情况下,Agent 都不应成为降低严重病例优先级的唯一途径。把这些规则写入标准操作规程,并确保在试点期间 Agent 不能自行关闭或重新分类任何病例。
衡量监管机构和药物警戒负责人真正会关心的指标,并纳入治理要求
单一的准确率数字会掩盖真正重要的失败。应把衡量拆分为几个部分。严重病例的召回率应接近完整,且该阈值需要在试点开始前与药物警戒负责人(QPPV)达成一致。漏掉的重复报告与误判的重复报告应分开统计,因为它们承担的风险不同。既要衡量节省的审核人员时间,也要衡量返工情况,即人工需要撤销 Agent 建议的频率。
要定期抽查 Agent 的「不相关」或「低优先级」判定。这些正是无声的失败。大多数团队只复核阳性结果,却忽略了阴性结果,而漏掉的严重病例恰恰就藏在这里。
最后,检查审计追踪。对于每一条 Agent 输出,你都应能够还原输入内容、模型与提示词版本、决策结果,以及接受或覆盖该决策的人员。如果你无法回答「系统在某个日期看到了什么,又输出了什么」,那么这个试点还没有准备好离开影子模式。
药物警戒数据高度敏感,Agent 的运行环境必须保持在组织已用于患者数据的管控之内。对每一次提示词和模型变更进行版本管理,记录由谁批准,并在工作流变化时更新标准操作规程。应把模型更新视为对已验证流程的变更,而不是例行的软件补丁。
本周可以做什么
从低风险、高数量的工作流中选择一个候选,通常是接收完整性检查或文献筛查。提取过去一年中已关闭的两百份病例。请两位经验丰富的审核人员独立进行标注,并通过一次简短会议解决分歧。然后让 Agent 在影子模式下处理同一批病例,逐条记录它与审核人员不一致的每一个病例,尤其是那些被它标为低优先级的病例。仅这一次练习,就能比任何供应商演示更清楚地告诉你系统是否准备就绪。
如果你希望在不从零搭建评分表、测试集和审核日志的情况下开展这类影子运行,可以在 https://www.duaer.com 注册并在那里尝试该工作流。从一个工作流和一个测试集开始,只有在严重病例召回率明确达到安全团队可以接受的水平之后,再逐步扩展。
欢迎告诉我们你正在考虑的药物警戒工作流,我们会为你发送一份书面的落地路线。https://api.duaer.com/form/c59a907a-3697-4edf-a04d-3ea0fb72fdc8
常见问题
药物警戒中,AI Agent 第一个试点应该选哪个工作流?
通常建议选择高数量、低风险的工作流,例如接收完整性检查或文献筛查,并避免一开始就涉及因果关系评估或最终监管申报。选择前可以先按价值和风险进行打分,并用过去已关闭的病例进行验证。
什么是药物警戒 AI 的影子运行(shadow run),应如何设计?
影子运行指 Agent 与人工并行处理病例,但其输出不用于实际决策。设计时需要建立经过专家标注的黄金标准测试集,纳入多语言、缺失日期等较难的病例,将 Agent 建议与人工结果逐条比对,并在试点开始前写好严重病例的升级规则。
药物警戒 AI Agent 试点应重点关注哪些指标?
最关键的是严重及非预期病例的召回率,其阈值应与药物警戒负责人(QPPV)提前达成一致。此外还应分别统计漏判重复与误判重复、抽查「低优先级」阴性判定、衡量人工返工率,并确保每条输出都能通过审计追踪还原输入、模型版本、决策及复核人。