Duaer

指南

2027 年药物警戒 AI 工具:签约前如何评估供应商

本文整理自 Duaer 文档站,围绕药物警戒场景中 AI 工具的采购与评估,说明为什么选型本质上是风险决策,并给出测试集构建、合同检查和上线后指标监控的实用做法。

为什么药物警戒领域的供应商选择更难

安全团队几乎每周都会有 AI 产品推销上门。演示效果通常很有说服力:病例录入界面能读懂病例描述,建议 MedDRA 术语,标记可能的重复报告,还能起草随访信件。问题往往出现在合同签署之后。真实的病例录入很杂乱:病例描述可能是多种语言,日期信息不完整,同一事件可能由三位报告人分别上报,随访还可能改变严重性判断。一个在供应商精选样本上表现完美的工具,可能会悄悄地误分诊最关键的病例。问题不在于 AI 在药物警戒中没有用,而在于采购决策常被当作功能对比来做,实际上它是一个风险决策。

大多数部门可以容忍不完美的工具,但安全报告工作承受不了这种不完美。在主要市场适用的监管框架下,不良事件报告的责任始终由药品上市许可持有人承担,无论哪家供应商的软件处理过该病例。如果工具漏掉了一例严重病例,或者对事件编码不一致,责任由企业承担,而不是供应商。

这意味着你购买的并不是一个更快的录入表单,而是受控流程中的一个组件,它必须经过验证、有完整文档记录,并且能够向检查人员解释清楚。因此要尽早问一个简单的问题:如果审计人员询问为什么某个病例被判定为非严重,你的团队能否还原推理过程,包括 AI 给出了什么建议、谁又推翻了这个建议?

采购中的常见误区

第一个误区是按功能清单采购。自动编码、信号检测看板和文献筛选听起来都很有价值,但它们位于流程的不同环节,风险差异很大。用人工复核来辅助文献筛选,远比让模型在没有复核的情况下直接做因果关系或严重性判断要安全得多。

第二个误区是直接接受供应商的准确率宣传,而不做自己的测试。宣传中的准确率只说明模型在供应商数据上的表现,并不代表它在你的报告人、语言和产品组合上的表现。

第三个误区是忽视审计追踪。很多团队只检查工具是否有日志功能就停止了。真正需要的是记录模型输入、输出、版本号、复核人身份以及每一次人工推翻。没有这些,工具即便速度很快,也无法经受审计。关于实际该检查什么,可以参考AI 审计日志指南。

第四个误区是以为验证工作由供应商负责。供应商可以提供文档,但你的组织仍然必须在自己的环境中,针对预期用途对工具进行验证。

合理的评估应该怎么做

首先梳理你自己的工作流程,而不是照搬供应商的流程图。一条典型的链路包括:病例录入与重复检测,严重性与预期性分诊,病例处理与编码,文献监测,信号检测,以及定期的汇总报告。为每个环节标注风险等级,以及现有的人工复核节点。这张流程图将成为与每家供应商沟通的基础。

接着,选择一到两个环节进行首轮试点。重复检测和文献筛选通常风险较低,因为错误比较容易被看见,复核人员也能及时发现。自主的因果关系评估则不适合作为第一步,因为其错误往往隐蔽,而后果严重。试点期间,每一例可报告病例的最终决定都应由人来做出。

然后用你自己的历史病例构建测试集。测试集应包含常规病例,但要刻意加入困难病例:非英语病例描述、日期缺失的报告、多药暴露病例、来自不同来源的近似重复报告,以及随访后被重新分类的病例。将同一份盲态测试集发送给每一家入围供应商,要求它们在你的配置下实时运行,并记录全部输出。

一种实用的组织方式,是把评估当作一个工作流来做,而不是一张记录供应商宣传内容的表格。例如,Duaer 是一个平台,团队可以用它搭建按环节划分的测试和复核记录,从而在同一流程下比较不同候选方案。无论使用哪种产品,都应以这种方式评判:依据你自己的测试集,而不是它的营销材料。

签约前的合同与治理检查

签约前,请确认以下五点。第一,审计追踪需覆盖每个病例的 AI 建议、人工推翻记录和模型版本。第二,你需要清楚病例数据在哪里处理、哪些二级处理方会接触数据,这关系到隐私规定以及跨境安全数据交换。第三,供应商需承诺在模型变更时通知你,并且在新版本投入生产前设有重新验证的步骤。第四,如果你日后更换供应商,应能以可用的格式导出自己的病例数据和日志。第五,试点范围需要书面明确,包括该工具可以决定什么、不可以决定什么。

如果需要一份覆盖更广的检查清单,可以参考AI 供应商评估清单,其中列出了各行业常见的缺口。

上线后,衡量真正重要的指标

不要只用节省的时间来衡量成功。应跟踪以下指标:编码和分诊的返工率,按类别统计的复核人员推翻率,后续质控中发现的漏报重复病例事件,对照内部截止时间的报告及时率,以及内部审计的发现。一个节省了时间,却提高了推翻率或漏掉重复报告的工具,并不算成功。这些基线应在试点开始前就确定下来,否则将无法进行比较。

本周可以做的一件事

把你目前的病例录入流程写成六到八个环节,并标出最容易发现错误的那一个环节。为该环节整理至少一百份历史病例,并刻意纳入那些棘手的病例。然后把同一份盲态测试集发送给两家供应商,要求它们提供带日志的实时结果。输出结果能告诉你的,比任何演示都多。

如果你希望在一个统一的工作流中开展这类按环节进行的评估,可以在 https://www.duaer.com 注册试用。用它来测试你自己的病例,并依据你自己的数据来判断结果。

如果你告诉我们你的具体场景,我们可以为你返回一份书面的落地路线。链接:https://api.duaer.com/form/c59a907a-3697-4edf-a04d-3ea0fb72fdc8

在药物警戒中,最好的 AI 工具,是那种在检查人员发现之前,你就能看清其错误、解释其错误并加以纠正的工具。

常见问题

药物警戒中使用 AI 做严重性判断,是否需要人工复核?

需要。不良事件报告的责任始终由药品上市许可持有人承担,无论哪家供应商的软件参与了处理。因此在试点阶段,每一例可报告病例的最终决定都应由人来做出,AI 的建议需要被记录,人工推翻也需要留痕。

签约前应该用多少历史病例来测试 AI 工具?

原文建议至少准备约一百份历史病例,并且要刻意纳入非英语描述、日期缺失、多药暴露、近似重复以及随访后被重新分类的困难病例。测试应使用同一份盲态数据,让各家供应商在你的配置下实时运行并保留日志。

如何判断一款药物警戒 AI 工具是否值得长期使用?

不要只看节省的时间。应在试点前建立基线,并持续跟踪返工率、按类别统计的复核推翻率、后续质控发现的漏报重复病例、报告及时率以及内部审计结果。如果时间节省的同时推翻率上升或漏报增加,说明工具并未真正带来收益。