> For the complete documentation index, see [llms.txt](https://doc.duaer.com/zh/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://doc.duaer.com/zh/guides/data-readiness-scientific-ai-scale.md). # 2027年科学AI规模化落地的数据就绪：优先修复这几点 本文整理自 Duaer 文档站，围绕科学 AI 规模化落地的数据就绪问题，说明为什么试点容易卡在数据上，并给出数据契约、就绪评分卡和首个场景的选择方法。 ## 为什么科学团队的 AI 试点容易卡在数据上 科学团队很少因为无法让模型跑起来而失败。真正的问题在于，模型必须运行在一开始并非为复用而建设的数据之上。一个蛋白质筛选试点通常基于某个实验室手工挑选的干净数据集来工作。但一旦引入第二台仪器、第二个站点或新一个季度的实验，结果就会出现漂移，数据来源信息随之丢失，没有人能说清哪些数字可信。**科学 AI 规模化的数据就绪**，指的是在让模型学习之前，先让实验数据和观测数据变得可检索、可比较、可追溯。简单来说，这是“我们有很多数据”与“我们有能让模型安全、反复、跨团队学习的数据”之间的差距。 企业 AI 团队往往继承的是订单、工单、发票这类表格化的业务记录。科学数据则在几个具体方面更加混乱：它来自不同文件格式和校准历史各异的仪器；它存放在笔记本、电子表格和 LIMS 导出文件中；不同课题组的单位和命名习惯也不一致，而且测量结果的含义依赖于从未被记录下来的协议细节。两张看起来完全相同的表格记录，可能使用了不同的缓冲液或传感器固件。 因此，这个问题不只是存储问题。一个堆满文件的数据湖依然可能无法使用。我们的指南[面向 AI 的数据就绪](https://doc.duaer.com/zh/guides/data-readiness-ai/)解释了试点在模型有机会发挥作用之前停滞的一般规律。在科学领域，这个差距更大，因为真值本身常常存在争议，而其背后的协议也很少被集中写在一处。 ## 对“我们已经有足够数据”的三种误解 有三种误解反复出现。 第一，把数据量误认为可用性。一个拥有数十年记录的研究机构，可能仍然缺少那几百组遵循同一协议的实验。模型效果取决于可比较、标注良好的子集，而不是档案总量。 第二，试图清理所有数据。对历史数据进行全面清理可能耗时数年，最后的项目往往还没上线就已过时。就绪工作应只覆盖具体用例真正需要的数据集。 第三，把元数据当作可有可无。缺少仪器设置、操作人员、协议版本和时间戳，就无法复现结果，也无法区分真实信号与校准伪影。许多科学 AI 的失败，表面上看是模型问题，实质上是数据来源追溯的问题。 ## 单一用例的“就绪”应该是什么样子 从模型要支持的一个具体决策出发，例如为后续检测优先排序化合物，或在生产线上标记异常读数。然后围绕这个决策编写一份简短的数据契约：哪些数据源提供输入，需要哪些单位和标识符，每条记录必须附带哪些元数据，历史数据需要追溯多远，以及每个字段由谁负责。 一份有用的契约包含四个部分： - **覆盖范围：** 有多少记录满足协议要求，哪些缺口真正影响决策。 - **语义统一：** 在各课题组之间映射出共享的单位、样本标识符和结果定义词表。 - **数据来源（Provenance）：** 有足够的血缘信息，使任何一条训练样本都能追溯到其源文件、仪器和实验流程。 - **访问方式：** 为模型团队提供一条有文档说明的数据获取路径，避免数据被复制到不受控的文件夹中。 契约的范围应当收紧。一个针对单一用例、记录清楚的窄数据集，比一个宽泛却没有文档的数据集更能让组织学到东西。 ## 用评分卡衡量就绪度，而不是凭感觉 许多团队回答“数据是否就绪”这个问题时，依靠的是一次会议和口头上的“可以”。评分卡则更加诚实。对每个候选数据集，可以对若干可观察的指标打分： - 具备完整必需元数据的记录占比。 - 单位和标识符能映射到共享词表的记录占比。 - 原团队以外的人，能否仅凭存储的数据和代码复现之前的分析。 - 从提出数据请求到获得可用提取结果所经过的时间。 - 由领域专家随机抽样检查的标签或结果质量。 阈值应与领域负责人共同设定，而不是照搬供应商材料中的数字。阈值应反映该领域中一次错误预测的代价。对于无法核实来源的行业平均值，要保持谨慎。更有价值的基准，是你自己在接下来两三个评审周期中的趋势变化。关于覆盖这些项目的启动前检查清单，可参阅我们的[数据就绪评估指南](https://doc.duaer.com/zh/guides/data-ai-readiness-assessment/)。 ## 从单个数据集走向可重复的数据流水线，并选择首个场景 规模化不是来自一次英雄式的单次清理，而是来自让第二个、第三个数据集的成本低于第一个。这意味着：为每类仪器准备标准化的接入模板，为单位和标识符维护带版本的映射表，让自动化检查对每个批次运行，并为每个共享字段指定明确的负责人。当新站点加入时，正确的问题应当是“哪些现有映射可以复用？”，而不是“我们是否要从头开始？” 许多团队发现，把数据契约、评分卡和血缘检查作为一个循环往复的工作流来运行，比作为一次性项目交付更加务实。这正是 Duaer 希望支持的那类闭环：你为某个用例定义数据契约，接入数据源，在每次数据刷新时运行就绪检查，并将血缘和评审结果集中保存在一处。如果你的团队希望在真实试点上验证这一做法，可以在 https://www.duaer.com 注册，先在一个数据集上跑通流程，再逐步扩展。请将其视为验证流程的方式，而不是结果的保证。 不要试图让所有实验室数据同时就绪。按两个问题对候选用例排序：更好的决策对业务有多大价值，以及数据准备有多难。价值高、缺口可控的用例是理想的首批目标。而那些需要统一五种仪器、并回填三年元数据的用例，应放在第二批。 要警惕把科学上最有趣的问题选为首个试点。有趣的问题往往数据状况最糟。一个不那么引人注目、但拥有干净且被充分理解记录的用例，将更能帮助组织理解什么是就绪，并建立起应对更难工作所需的信任。 ## 本周可以做什么 选定一个候选用例及其支持的决策。撰写一页纸的数据契约，涵盖数据源、必需字段、单位、元数据和负责人。然后用上文的四项评分卡对三个最重要的数据源打分。将结果分享给领域负责人和数据负责人，并就阻碍试点的两个缺口达成一致。暂时不要启动平台迁移。本周的目标是对“哪些已经就绪、哪些还没有”形成清晰、共同的认识。 如果你希望在自己的数据上进行这类就绪检查，可以在 https://www.duaer.com 注册试用，并基于一个真实数据集搭建第一份契约和评分卡。从小处开始，与领域专家一起检验结果，再据此决定是否扩大范围。 数据就绪不是一次性的认证，而是持续进行的工作，目的是让科学数据变得可比较、可追溯、可复用，从而使你部署的每一个模型都建立在组织能够真正辩护的证据之上。 ## 常见问题 ### 科学数据在做 AI 之前需要先完成哪些就绪工作？ 通常需要先围绕一个具体决策编写数据契约，明确数据来源、必需字段、单位与标识符、元数据要求、历史覆盖范围以及每个字段的负责人。契约一般包括覆盖范围、语义统一、数据来源追溯和访问方式四个部分。 ### 如何判断一个数据集是否已经足以支持 AI 项目？ 建议用可观察的评分卡而不是会议上的口头判断。可以统计元数据完整率、单位和标识符的映射率、外部人员能否复现分析、从请求到可用数据的耗时，以及领域专家抽样检查的标签质量。阈值应由领域负责人根据错误预测的代价共同设定。 ### 为什么不建议一开始就清理全部历史数据？ 全面清理历史数据往往耗时数年，项目可能在上线前就已经过时。更务实的做法是只针对具体用例所需的数据集进行就绪处理，并让第二个、第三个数据集的接入成本逐步低于第一个，通过可复用的模板和映射表实现规模化。