机器视觉之表面缺陷检测

Posted 2022-12-01 quickembed

曾有一个科研项目，青岛啤酒厂委托，研究啤酒瓶的质量检测。

一般这种玻璃瓶会有一定次品、不良品，特征是，内部细细的裂缝纹路长度长于一定限制，那么这种啤酒瓶在运输或者开瓶盖的过程中就有炸裂的风险。

所以，采用计算机摄像，机器视觉，人工智能的技术，加以判断甄别，减少人工工作量和失误。

现在，各种基于人工智能、机器学习、深度学习的自动检测、探伤、表面缺陷检测的产品部署在一条条生产线上。

当你买到拿到心仪的产品的时候，映入眼帘的，就是它的外观，这是靠模具厂、组装厂的工人们精心呵护生产出来的，有的靠人眼检查，有的靠自动化设备检查，不放过一点瑕疵。

缺陷检测被广泛使用于布匹瑕疵检测、工件表面质量检测、航空航天领域等。传统的算法对规则缺陷以及场景比较简单的场合，能够很好工作，但是对特征不明显的、形状多样、场景比较混乱的场合，则不再适用。近年来，基于深度学习的识别算法越来越成熟，许多公司，例如速嵌智造，把深度学习算法应用到工业场合中。

现在，机器视觉在工业检测、包装印刷、食品工业、航空航天、生物医学工程、军事科技、智能交通、文字识别等领域得到了广泛的应用。工业检测领域是机器视觉应用中比重最大的领域，主要用于产品质量检测、产品分类、产品包装等，如：零件装配完整性检测，装配尺寸精度检测，位置/角度测量，零件识别，PCB板检测，印刷品检测，瓶盖检测，玻璃、烟草、棉花检测，以及指纹、汽车牌照、人脸、条码等识别。表面质量检测系统是工业检测的极其重要的组成部分，机器视觉表面缺陷检测在许多行业开始应用，涉及钢板、玻璃、印刷、电子、纺织品、零件、水果、木材、瓷砖、钢轨等多种关系国计民生的行业和产品。

如下图所示，这里以QuickEmbed研究的布匹数据作为案例，常见的有以下三种缺陷，磨损、白点、多线。

识别结果如下

工业零件在制造完成的时候，往往需要去检测其完整性和功能性。如下图所示，几种常见缺陷检测。

工件裂纹

下面对各行业应用稍加分析阐述

1.航空业

这不仅是一个满足对飞机所有零部件生产要求和规格的问题，而且是一个在事后发现缺陷时代价高昂的延迟问题。

据波音公司称，在2.6万亿美元的航空服务市场中，70%的份额用于质量和维护。考虑到仅2016年美国的机械问题就估计耗资超过5亿美元，这应该不足为奇。此外，航班延误(许多乘客滞留)约有三分之一与维修有关。

视觉检测技术与DL相结合，可以将组件与规格进行比较，发现生产过程中的缺陷。除此之外，制造商还应满足定期维护要求，以确保乘客安全，并遵循政府的指导方针。这些技术可以识别以下缺陷和问题:

腐蚀-计算机视觉系统可以在更短的时间内对各个部件进行检查，并返回更彻底的检查结果。

发动机内部部件的磨损-对发动机内部部件进行远程目视检查，以确保有效和安全的运行。

铝板厚度(通过三维测量)-厚度计可以提供高精度，无损读数对大型和复杂的铝板;并将收集到的数据上传到您的系统进行进一步的分析。

自动车轮检查-接收有关飞机车轮疲劳裂纹的即时数据。通过使用由计算机视觉驱动的系统，操作人员不必浪费时间在冗长的检查上，可以专注于手头的其他工作。

叶片在制造或修理后的检查-计算机射线照相和数字射线照相可用于检查叶片的关键缺陷。因此，无需使用数字格式的化学品，就可以快速获得图像。后者可以进一步进行失效分析，并带来精确的三维测量。

2.汽车行业

安全问题让OEM和一级供应商夜不能寐。这是乘客的风险/死亡问题，也是公司声誉的问题。最近，丰田同意支付13亿美元的和解金，原因是一项缺陷导致汽车加速，即使司机试图减速。美国有6人死于这种缺陷。

利用视觉检查、人工智能和深度学习的认知能力，原始设备制造商可以更准确地分析和识别质量问题，甚至在问题发生之前就解决它们。随着时间的推移，当他们熟悉更多类型的缺陷时，这些可视化的洞察和分析可以确定缺陷的严重程度。

一家领先的汽车制造商采用智能光学检测解决方案来检测金属表面的划痕和凹痕缺陷。对于人类检查员来说，在光亮的表面上发现这样的缺陷是极其困难的。传统的机器检查也没有什么帮助，因为系统不能捕获不可预测的凹痕或划痕缺陷。另一个问题是，该系统必须由人类员工进行培训，提供有缺陷部件的图像，教会它分辨哪些部件是可以接受的，哪些部件是不可接受的。然而，公司一开始就有一个相当低的缺陷率，它花费了他们大量的时间和精力来收集一个小的可视化数据集来表示足够的缺陷变化。最终，他们选择了一个更“智能”的系统，并很快意识到采用后的好处如下:

降低66%的检验成本

假阳性率降低33%

假阴性率维持在1%以下

3.计算机设备制造业

自动光学检测(AOI)曾经是制造业计算机设备的自然选择，特别是由于对小型电路板设计的需求正在增长，而且在某些情况下，缺陷可能被证明是高度有害的。

除此之外，AOI还可以检测到:

区域缺陷

组件偏移

焊料问题

外来材料

高度和体积缺陷

短路

安装错误

当为AOI检查设置规格和方差裕度时，它们要比人工检查精确得多。然而，AOI系统仍然无法检测到设备的“外观”问题。

这就是为什么富士通实验室一直在率先为电子行业开发支持人工智能的识别系统，并在质量、成本和交付方面报告了大量进展。通过遗传编程，该公司的图像识别系统实际上生成了检测代码，能够产生几乎100%的识别率。将该技术应用于生产现场，开发时间减少80%左右，识别率达到97%。

然而，不仅仅是高价值的制造可以使用自动化的视觉检查和人工智能。考虑一下这两个来自以消费者为基础的行业的例子。

4.纺织行业

在某个时刻，我们所有人都买了衣服，发现里面贴着“被(某个数字)检查过”的小标签。这意味着人工检查产品在缝纫、织造等方面的缺陷，并确定其符合公司的质量规格。显然，这是一个代价高昂且容易出错的过程。接受有缺陷产品的客户必须经过退货/换货程序，这是公司不喜欢的。

自动视觉检查的实现，以及DL功能，现在可以检测纹理、编织、缝合，甚至颜色匹配的问题。当发现缺陷时，不仅可以将纺织品或产品从生产线上移除，而且还可以发现缺陷的根源，并在未来进行修复和预防。

同时，可以对这些系统进行微调，以接受更大范围的容错能力。例如，Datacolor的人工智能系统可以考虑过去由人工操作人员进行的视觉检查的历史数据，从而创建与视觉检查样本更接近的自定义公差。

纺织业最新的人工智能用例之一是创建一个检测和测量织物褶皱的系统。目前织物起皱性能的测量大多是手工进行的，比较繁琐。计算机视觉驱动的皱纹测量可以帮助制造商降低成本和时间所需的这一过程。

5.玻璃行业

这个行业经常面临的问题之一是玻璃在生产过程中的缺陷——切屑、划痕等。通常，当前的检测方法会产生“假阳性”，例如水滴被识别为切屑。

通过自定义计算机视觉和人工智能模型的实现，可以消除这些类型的错误。在一个案例中，正确的缺陷识别为一家大型玻璃制造商在每条生产线上平均节省了3.6万美元，总计每年节省近100万美元。

质量控制是一个公司保持制造标准、客户满意度以及最终声誉和利润的主要因素。计算机视觉有巨大的质量控制潜力。