Duaer

指南

2027 年质量控制 AI:在购买视觉模型之前应从哪里开始

本文整理自 Duaer 文档站,探讨企业在引入质量控制 AI 前应如何选择切入点、确定试点产线,并衡量误判率、人工改判率等比准确率更能反映实际效果的指标。

为什么质量控制比演示看起来更难

许多工厂都看过同样的演示:一个摄像头、一个模型、一块实时标出划痕和凹坑的屏幕。演示效果很有说服力。但试点一旦搬到真实产线上,问题就开始出现。不同班次之间的光照会变化,模型会标记出检验员原本直接放行的零件,操作员慢慢开始忽略告警,几个月后系统闲置,团队又悄悄回到人工检查。质量控制 AI 的真正痛点很少来自模型本身,而在于选错了切入点、衡量了错误的东西,并且低估了模型之外的大量工作。

质量控制看起来是一个简单的问题:输入图像,输出合格或不合格。但在实际中,结果取决于一长串条件。摄像头会发生位移,表面处理随供应商批次而变化,不同检验员之间(有时同一产线的不同班次之间)对缺陷的定义也不一致。用上一季度图像训练的模型,在新涂层或工装变更之后,表现可能完全不同。

更深层的难点在于,质量决策是有后果的。漏检的缺陷可能流入客户手中,引发召回,或损害与供应商的关系;而过于敏感的系统则可能让产线停机、浪费合格材料,并削弱一线员工的信任。两类错误都会造成损失,只是损失发生在不同的环节,因此单一的准确率数字很少能说明系统是否真正有用。

所以,在问模型能否识别缺陷之前,认真的团队会先问一个更务实的问题:这个系统会改变哪一项决策?谁来根据它采取行动?当它出错时会发生什么?

导致试点停滞的常见错误

第一个常见错误是从最难的缺陷入手。团队往往会选择细微、罕见、又最显眼的失效类型,因为它听起来最有价值。但罕见缺陷的标注样本很少,模型可学习的内容有限,试点可能会花费数月收集数据,却始终无法得到稳定的结果。

第二个错误是先买硬件。摄像头、光源装置和边缘设备看得见、也容易做预算,因此很容易成为项目的核心。但如果没有明确的缺陷分类体系和标注流程,硬件只能产生没人能可靠判断的图像。

第三个错误是只用离线准确率来评判系统。由经过挑选的、光线良好的干净图像组成的测试集,并不能说明系统在周二夜班时的表现。只报告一个总体分数的团队,往往事后才发现,真正决定操作员是否信任系统的,是误判率这一数字。

第四个错误是把模型当成最终产品。系统上线后,必须有人负责阈值调整、模型再训练、异常处理,以及来自检验员的反馈闭环。如果没有人承担这些工作,系统性能就会悄无声息地下降。

如何按价值与难度给质量控制用例排序

质量控制并不是一个单一的用例,而是一组用例,它们在价值和难度上差异很大。一种有效的分类方式是,把每个候选用例放在两个坐标轴上衡量:一是做出正确决策的价值有多大;二是基于你手头的实际数据,获得稳定信号有多难。

来料检验往往是很好的起点。缺陷类型相对明确,样本量大,而且错误的判定可以用供应商记录进行核对。针对单一、稳定产品的在线视觉缺陷检测可能很有价值,但对光照、定位和标签质量的控制要求很高。过程参数异常检测通过监测传感器数据,在缺陷出现前发现漂移,价值可能很高,但需要来自机器的干净且时间对齐的数据,而这些机器在设计时未必考虑过数据分析。最终审核文档方面,AI 可以帮助汇总检验记录并标记不完整的条目,技术风险较低,还能帮助质量团队建立对系统的信任。

在为候选用例打分时,应同时考虑两个方向上错误决策的成本、标注样本的可得性、必须就缺陷定义达成一致的利益相关方数量,以及团队多快能知道系统是否有效。一个价值适中、数据充足、且有明确负责人的用例,通常会胜过一个看起来很亮眼却缺少这些条件的用例。关于这类排序方法的更广泛介绍,可参阅我们的指南 企业 AI 用例优先级排序,其中将同样的逻辑应用于各个职能领域。

如何选择第一条试点产线

有了排序列表之后,第一条试点产线应满足四个条件。产品或工位应当稳定,近期很少有设计变更。缺陷定义应当已经写成文字,即使不够完善,检验员之间也应大体达成共识。产线应有一位明确的主管愿意为试点担当推动者。团队还应能让系统以影子模式运行,即在任何人依赖系统之前,AI 与人工检验员并行给出建议。

影子模式的重要性往往超出大多数团队的预期。它能让你收集成对的判定结果,准确显示模型与检验员在哪些地方存在分歧。这些分歧是第一个月里最有价值的数据。它们常常暴露出缺陷定义本身不清楚的问题,而这是任何模型都无法解决的。解决这些分歧,对改进流程的作用往往不亚于 AI 本身。

如果团队正在比较制造业的 AI 选项,我们的文章 如何选择制造业 AI 应用场景 介绍了如何把列表收窄到一条真正有可能成功的首条产线。

除了总体准确率,还应衡量什么

一份有用的质量控制 AI 记分卡,至少应跟踪四个数字。漏检率衡量有多少不合格零件通过了 AI 检查,并在之后被其他环节发现。误判率衡量有多少合格零件被错误标记,这会造成材料浪费和产线停机。人工改判率衡量检验员推翻系统判定的频率,它直接反映了信任程度和定义的质量。处置时长衡量从标记到做出决定所花的时间,它能显示工作流程是否契合产线节奏。

这些数字应按班次、产品型号和供应商批次分别跟踪,而不仅仅看整体平均值。平均值可能掩盖一个问题:系统在白班表现良好,但每当光照变化就会失效。建议每周与质量负责人一起复盘记分卡,并提前设定什么情况算作停止信号。在上线前就定义好退出标准的团队,远不太可能因为惯性而让一个失效的系统继续运行。

本周就能采取的一个实际步骤

挑选一个候选用例,把它的缺陷定义写在一页纸上,每个缺陷类别配两到三张示例图像,并为临界情况制定清晰的判定规则。然后让两名检验员独立标注同一批五十个样本,比较他们的答案。两人之间的差距,能告诉你这个用例是否已经具备引入 AI 的条件。如果检验员经常意见不一,先修正定义;如果他们基本一致,你就有了可信试点的基础。

这种标注审计,也是平台可以帮你加快进度的地方。如果你希望把标注、影子模式对比和记分卡跟踪作为一个可重复的工作流来运行,而不是放在电子表格里,可以在 Duaer 中搭建这一流程。一个实用的测试方法是:让一条试点产线完整走完整个周期,从定义到影子对比,再到每周复盘,看看这套工作流在真实班次条件下是否站得住脚。

如果你的团队准备好在真实产线上试用,请访问 https://www.duaer.com 注册试用。从一个工位、一个缺陷类别和为期两周的影子运行开始,让分歧数据告诉你下一步该修正什么。

质量控制 AI 的成功,取决于团队是否选择了一个稳定、定义清晰的用例,是否在关注准确率的同时衡量误判率和改判率,以及是否把产线上的员工视为系统的一部分,而不是系统的障碍。

常见问题

质量控制 AI 试点应该先从哪类缺陷或场景开始?

通常应优先选择产品稳定、缺陷定义明确、样本量充足且有明确负责人的场景,例如来料检验。最难、最罕见的缺陷往往标注样本少,不适合作为首个试点,否则容易长期停留在数据收集阶段。

为什么不能只看视觉模型的离线准确率?

离线测试集通常由干净、光线良好的预选图像组成,无法反映真实班次中光照变化、批次差异等情况。更应关注漏检率、误判率、人工改判率和处置时长,并按班次、产品型号和供应商批次分别统计。

在购买摄像头和视觉模型之前,企业应该做什么准备?

先为候选用例写出一页纸的缺陷定义,配上示例图像和临界情况规则,然后让两名检验员独立标注同一批样本并比较结果。如果检验员之间分歧较大,应先统一定义,再考虑硬件和模型采购。