基于三维灰度矩阵的钢板缺陷图像识别算法

Posted 2021-04-06 新机器视觉

重磅干货，第一时间送达

点击阅读原文，可读取原论文全部内容

本文摘自于：方治屿. 3维灰度矩阵的钢板缺陷图像识别[J]. 中国图象图形学报, 2019, 24(6): 859-869.][DOI: 10.11834/jig.180555]

钢板作为机械制造、汽车生产、航空航天、船坞制造等领域中不可或缺的原材料，其表面质量的好坏直接影响着这些最终产品的性能与质量。在实际的钢板生产线上，由于加工工艺不完善、设备器件老化等诸多因素，常会导致钢板表面出现各种缺陷，主要包括: 辊印、粘结痕、压痕、褶皱、结巴、气泡、划伤、氧化 等。这些缺陷不仅对产品的外观、耐磨性能以及抗腐性能等有较大影响，而且流入市场的缺陷钢板也会给企业甚至国家带来巨大的经济损失。所以，对生产线上钢板表面缺陷情况的检测显得尤为重要。

目前运用于钢板表面缺陷图像分割的较流行算法主要分为三大类 ：

• 1)基于阈值的分割，如基于图像行列像素集合灰度信息的自适应阈值分割方法；

• 2)基于边缘的分割，如基于Sobel算子的边缘检测算法获取梯度图像实现带钢缺陷识别；

• 3)基于区域的分割，如使用模糊聚类算法实现的带钢表面缺陷分割和基于径向基核函数的改进支持向量机(SVM)模型的缺陷识别算法。

由于钢板表面缺陷的种类多样、灰度结构复杂，仅使用基于单一类别的分割算法常常不足以满足对多种缺陷种类的分割需求，所以近年来针对几类分割算法相结合的研究更加普遍。 针对现有钢板表面缺陷图像分割算法中存在的不足，提出基于3维空间特征的钢板缺陷图像 分割算法， 利用矩阵变换原理 构建钢板缺陷图像的3维灰度矩阵，通过改进克里金插值算法求得该3维矩阵的 等值线； 然后构建等值线的拓扑关系树，在自定义的搜索策略下寻找缺陷区域的最佳等值线； 从而实现对钢板表面缺陷的定位与分割。

算法总体流程

基于3维灰度矩阵的钢板缺陷算法主要是 针对灰度等值线的分布规律而设计，通过确定等值线之间的包含关系，判断局部凹陷和局部凸起的等值线位置，从而定位待分割目标区域，达到提取目标的效果，算法总体流程下图所示。

基于3维灰度矩阵的图像分割算法

由于在灰度不均的情况下，平面空间内对钢板表面缺陷图像的分割算法存在不足，提出了在更高维度空间内分析图像灰度特征的基于3维灰度矩阵的图像分割算法。

• 首先获取待分割图像的灰度图像，构建3维灰度矩阵；

• 然后根据改进克里金插值算法绘制3维灰度矩阵对应等值线图；建立等值线拓扑关系树，确定等值线间关系，便于寻找目标轮廓；

• 最后在遍历规则下搜索拓扑关系树，找到局部凹凸位置，从而确定分割目标轮廓。

（1）构建三位灰度矩阵

以氧化钢板图像为例，下图给出了正常钢板和氧化钢板的灰度图像以及对应的3维灰度矩阵图。

（2）绘制3维灰度矩阵对应等值线

钢板表面缺陷与其3维灰度矩阵中局部凹凸区域相对应，对局部凹凸区域的确定类似于地图学中对山峰和山谷的确定，所以将3维灰度矩阵类比于具有山峰山谷的地形，采用克里金插值法绘制3维灰度矩阵的等值线，通过等值线的走势表示3维矩阵中的局部凹凸区域。

（3）建立等值线拓扑关系树

获得了3维灰度矩阵的等值线图之后，为便于寻找在3维灰度矩阵中的局部凹凸区域，构建等值线拓扑关系树，明确各个等值线之间的包含关系。 下图为 氧化钢板灰度等值线 。 从图中 可以看出在忽略局部异常区域的前提下，水平方向上图像的灰度等值线大致呈线性分布，而等值线图中的 局部异常区域正好对应于原始图像中的待分割目标区域。 由此得出结论： 针对灰度不均匀的钢板表面缺陷图像目标分割的问题，可以转换为分析图像灰度等值线分布规律的问题。

以此作为等值线间关系判别准则。同时对于灰度等值线来说，包含关系一般存在于不同数值的等值线间，而相同数值的等值线多为相邻关系。根据等值线包含关系判定原理，确定等值线间相互关系，建立等值线拓扑关系树，下图 给出氧化图像等值线图拓扑关系构建示例。

（4）遍历拓扑关系图寻找目标轮廓

当等值线拓扑关系树构建完成，即可通过搜索关系树的方式确定缺陷区域的轮廓，采用两个策略相结合的方法寻找对应缺陷轮廓的等值线，分别是基于所有等值线单一方向走势的全局搜索策略和基于拓扑树深度遍历的局部搜索策略。

结论

通过对比实验验证了该算法可以对灰度不均匀的常见钢板缺陷图像进行有效分割，分别从定性与定量的角度证明该算法可以快速、有效地提取钢板图像中的缺陷区域。

算法目前主要应用于静态的钢板缺陷识别，下一步考虑结合实时监控和采集的动态钢板缺陷进行识别；并收集更多种类的钢板表面缺陷，扩大实验数据集，尝试与卷积神经网络相结合，实现对钢板表面缺陷的自动分类。

 End 

声明：部分内容来源于网络，仅供读者学术交流之目的。文章版权归原作者所有。如有不妥，请联系删除。