指南
2027 年临床试验匹配大模型:为什么资格数据会率先卡住
本文整理自 Duaer 文档站,围绕临床试验匹配中的大模型应用,说明为什么入排标准拆解和数据准备会先成为瓶颈,并给出以证据为先、可审计的试点思路。
为什么筛选比读病历难得多
每家开展临床试验的研究中心都熟悉筛选难题。一份方案往往有几十条入选和排除标准,协调员需要对照患者病历逐条核实。答案大量藏在自由文本门诊记录、扫描的出院小结以及单位不一的检验报告中。大语言模型看上去是显而易见的捷径:它能读懂病历、理清逻辑,几分钟内给出候选名单。但在实践中,许多团队发现模型并不是最难的部分,真正的难点在于标准、数据和筛选决定的问责三者之间很难干净地对接。
一条典型标准例如「过去 12 周内未接受过抗 PD-1 治疗」或「入组前 30 天内测得的肌酐清除率高于 50 mL/min」。每个短语背后都隐含要求:模型需要找到正确的药物,算清日期,识别正确的检验值,并判断「未开始」的记录是否否定了某个计划用药。每一步都可能悄无声息地出错。
数据本身也增加了摩擦。用药史可能在一个系统里,病理在另一个系统,门诊记录又在第三个系统。时间窗口取决于方案自己定义的入组基准日期。协调员已经熟悉这些陷阱,这也是人工筛选虽然慢却可靠的原因。
结果是,大模型在演示中可能十分出色,到了真实工作流中却可能给出无法使用的输出。假阳性会浪费协调员的时间,去核查一个从未符合条件的患者;假阴性则意味着真正的候选人永远到不了研究者面前。这两类错误都不会体现在某一个总体准确率数字里。
团队常犯的四个错误
第一个错误是让模型直接做出入组判定。当输出只是「是」或「否」时,没人能看清模型为何得出该结论,方案修订改变规则后也无法审计。模型应当输出带证据的候选名单,而不是最终结论。
第二个错误是把整份方案作为一长段文本交给模型,寄希望于它自行理解。彼此依赖的标准,例如「年满 18 岁,除非已入组儿童队列」,容易在长文本中丢失。跳过拆解步骤的团队,通常会发现相似患者得到的结果并不一致。
第三个错误是只用人工挑选的样例测试。一组干净、写得很好的演示病历,并不能说明真实筛选队列中那些杂乱病历的情况。如果没有根据协调员过去的决定建立金标准,就无从知道系统是真的好,还是只是表达流畅。
第四个错误是把数据治理当作事后补充。患者记录通常不能走出机构边界,一条把病历发送到外部 API 的流程,可能在进入任何研究中心之前就无法通过合规审查。团队往往到很晚才发现这一点,那时原型已经塑造了各方预期。如果想更全面了解制约医疗试点的监管约束,可参考医疗场景中的 AI 落地挑战:合规优先,其中对先后顺序的问题讲解得更深入。
先拆解标准,再写提示词
正确的起点是建立标准清单。对每份方案,把每一条入选和排除标准拆成原子条件,再将每个原子条件归入三类之一。
第一类是结构化、可直接核查的条件:年龄、性别、诊断编码、带单位的检验阈值等。在统一单位之后,应由确定性规则处理。不应让大模型去比较 1.2 mg/dL 与 106 µmol/L,这对代码来说是已经解决的问题。
第二类需要阅读理解:既往治疗史、症状描述、以叙述形式记录的体力状态等。大模型在这里确实有价值,前提是它必须返回其所依据的句子或文本片段。
第三类需要人工判断:记录无法回答的条件,例如研究者对疾病稳定性的判断,或患者的参与意愿。系统应当将这些条件标记出来并停止自动处理。这种划分是最有用的一项设计决策:它缩小了模型可能产生幻觉的范围,也让其余每一项判断都可以追溯。
输出证据与衡量指标
输出格式决定协调员是否信任这套系统。一条良好的候选记录应列出每一项标准、状态(符合、不符合、不明确、记录中无此信息)、带来源和日期的支持证据,以及产生该结果的规则或模型步骤。协调员应当能在两分钟内核查一名候选人,而不必重读整份病历。
这也有助于控制幻觉。如果模型无法指向源文档中的某个文本片段,该输出就被标记为未经验证,不得进入候选名单。自动检查被引用的文本片段是否真实存在于源文本中,是一项简单的自动化测试,能够发现很大一部分捏造的依据。
只看准确率会产生误导,应跟踪一小组反映真实工作流的指标。以过往筛选结果构建的金标准为基准,测量对已知符合条件患者的召回率,它告诉你系统是否遗漏了候选人。精确率,即协调员接受的被标记候选人占比,告诉你系统浪费了多少时间。未解决标准比例显示系统正确承认自己无法判断的频率。证据验证通过率则说明引用是否经得起核对。最后,还应测量每位被筛查患者的耗时,包括协调员复核时间,因为一个很快却造成漫长复核队列的系统,并没有真正节省时间。
每当方案修订、电子病历更换记录模板或新研究中心加入时,都应重新运行金标准测试。匹配性能恰恰容易在这些时刻发生漂移,若没有常设测试,很容易被忽视。
从一个方案、一个中心开始
第一次试点应当刻意保持窄范围:选择一份标准大多为结构化数据的方案,在一个愿意标注结果的协调员所在的中心开展。避免病例极少的罕见病方案,因为案例不足,无法评估任何东西;也避免第一天就涉及数十行治疗史逻辑的肿瘤方案,因为仅拆解工作就要耗时数月。
试点运行后,同样的模式可以扩展到第二份方案。先把数据基础做扎实的团队,通常扩展得更快。在进行任何提示词设计之前,面向 AI 的数据就绪度:首个模型前需要检查的事项是一份有用的参考,涵盖了数据质量相关问题。
本周可以迈出的一步
从一份在用方案中调取 10 份过往筛选决定。对每一份,记录协调员判断了哪些标准、使用了哪些证据以及最终结果。再把这些标准按上述三类进行划分。你会得到一份金标准、一份标准清单,以及对哪些部分属于规则、哪些需要阅读理解、哪些需要人工判断的清晰认识。这些足以判断大模型试点是否值得开展。
如果希望在不从零搭建流程的情况下开展这类标准级别的评估,可以访问 https://www.duaer.com,在 Duaer 中配置拆解、证据输出和验证步骤,并用自己的方案进行测试,然后再决定是否投入更大规模的建设。注册可以免费开始,你可以用自己的数据判断是否契合。
用大模型做临床试验匹配,值得做的前提是输出是一份经过复核、附带证据的候选名单,而不是自动化的结论。访问 https://www.duaer.com 注册,在自己的方案上测试这一流程,并把第一次试点当作一次测量工作,而不是直接当作自动化来推进。
欢迎告诉我们你的场景,我们会回传一份针对该场景的书面落地路线。表单地址:https://api.duaer.com/form/c59a907a-3697-4edf-a04d-3ea0fb72fdc8
常见问题
用大模型做临床试验匹配,能替代协调员的人工筛选吗?
不建议。更合理的定位是辅助:模型产出带证据的候选名单,由协调员复核;无法从记录判断的条件(如研究者对疾病稳定性的判断)应交由人工处理。
临床试验匹配的大模型试点应该怎么选择第一份方案?
优先选择标准以结构化数据为主、病例量足够、并且有愿意标注结果的协调员的方案。应避免把罕见病(病例太少)和治疗史逻辑复杂的肿瘤方案作为起点。
如何评估大模型筛选系统的效果,只看准确率够吗?
不够。应结合金标准下的召回率、协调员接受率(精确率)、未解决标准比例、证据验证通过率,以及每位患者的总耗时(含人工复核)综合评估,并在方案修订或模板变更后重新测试。