学习 opencv---形态学图像处理：膨胀和腐蚀

Posted 2020-08-27 wyu123

  本篇文章中，我们一起探究了图像处理中，最基本的形态学运算——膨胀与腐蚀。浅墨在文章开头友情提醒，用人物照片做腐蚀和膨胀的素材图片得到的效果会比较惊悚，毁三观的，不建议尝试。。。。。。。。。。

 

    一、理论与概念讲解——从现象到本质

    1.1 形态学概述

     形态学（morphology）一词通常表示生物学的一个分支，该分支主要研究动植物的形态和结构，而我们图像处理中指的形态学，往往表示的是数学形态学，下面一起来了解数学形态学的概念。

   数学形态学（Mathematical morphology）是一门建立在格论和拓扑学基础之上的图像分析学科，是数学形态学图像处理的基本理论。其基本的运算包括：二值腐蚀和膨胀，二值开闭运算，骨架抽取，极限腐蚀，击中击不中变换，形态学梯度，Top-hat变换，颗粒分析，流域变换，灰值腐蚀和膨胀，灰值开闭运算，灰值形态学梯度等。

   简单来讲，形态学操作就是基于形状的一系列图像处理操作。opencv为进行图像的形态学变换提供了快捷，方便的函数，最基本的形态学操作有二种，他们是：膨胀和腐蚀（Dilation与Erosion）

  膨胀与腐蚀能实现多种多样的功能，主要如下：

  

• 消除噪声
• 分割(isolate)出独立的图像元素，在图像中连接(join)相邻的元素。
• 寻找图像中的明显的极大值区域或极小值区域
• 求出图像的梯度

 

   在进行腐蚀和膨胀的讲解之前，首先需要注意： 腐蚀和膨胀是对白色部分（高亮部分）而言的，不是黑色部分。 膨胀就是图像中的高亮部分进行膨胀，“邻域扩张”，效果图拥有比原图更大的高亮区域。腐蚀就是原图中高亮部分被腐蚀，“邻域被蚕食”，效果图拥有比原图更小的高亮区域。

 

  

  1.2 膨胀

 其实，膨胀就是求局部最大值的操作。

 按数学方面来说，膨胀或者腐蚀操作就是将图像（或图像的一部分区域，我们称之为A）与核（我们称之为B）进行卷积。

 核可以是任何的形状和大小，它拥有一个单独定义出来的参考点，我们称其为锚点（anchorpoint）。多数情况下，核是一个小的中间带有参考点和实心正方形或者圆盘，其实，我们可以把核视为模板或者掩码。   

 

  而膨胀就是求局部最大值的操作，核B与图形卷积，即计算核B覆盖的区域的像素点的最大值，并把这个最大值赋值给参考点指定的像素。这样就会使图像中的高亮区域逐渐增长。如下图所示，这就是膨胀操作的初衷

   

 

         膨胀的数学表达式：

                                                          

 

    膨胀效果图（毛笔字）：

   

  照片膨胀效果图：

  

 

 

   1.3 腐蚀

    再来看一下腐蚀，，大家应该知道，膨胀和腐蚀是一对好基友，是相反的一对操作，所以腐蚀就是求局部最小值的操作，我们一般都会把腐蚀和膨胀对应起来理解和学习。下文就可以看到，两者的函数原型也是基本上一样的。

   原理图：

  

  腐蚀的数学表达式：

                                

 

 腐蚀效果图（毛笔字）：

   

 

照片腐蚀效果图：

  

 

 

  声明：这俩个数学表达式直接复制过来看的有点问题，应该是把小字体的部分去掉才对吧。。。。。。。。

 

  

   二、深入——OpenCV源码分析溯源

 

  直接上源码吧，在…\\opencv\\sources\\modules\\imgproc\\src\\ morph.cpp路径中 的第1773行开始就为erode（腐蚀）函数的源码，

  

1 void cv::erode( InputArray src, OutputArray dst, InputArray kernel,
2                 Point anchor, int iterations,
3                 int borderType, const Scalar& borderValue )
4 {
5     //调用morphOp函数，并设定标识符为MORPH_ERODE
6     morphOp( MORPH_ERODE, src, dst, kernel, anchor, iterations, borderType, borderValue );
7 }

 

   第1781行

void cv::dilate( InputArray src, OutputArray dst, InputArray kernel,
                 Point anchor, int iterations,
                 int borderType, const Scalar& borderValue )
{
     //调用morphOp函数，并设定标识符为MORPH_DILATE  
    morphOp( MORPH_DILATE, src, dst, kernel, anchor, iterations, borderType, borderValue );
}

 

 

   可以发现erode和dilate这两个函数内部就是调用了一下morphOp，只是他们调用morphOp时，第一个参数标识符不同，一个为MORPH_ERODE（腐蚀），一个为MORPH_DILATE（膨胀）。

 

   morphOp函数的源码在…\\opencv\\sources\\modules\\imgproc\\src\\morph.cpp中的第1716行，有兴趣的朋友们可以研究研究，这里就不费时费力花篇幅展开分析了。

  

 1 static void morphOp( int op, InputArray _src, OutputArray _dst,
 2                      InputArray _kernel,
 3                      Point anchor, int iterations,
 4                      int borderType, const Scalar& borderValue )
 5 {
 6     Mat kernel = _kernel.getMat();
 7     Size ksize = !kernel.empty() ? kernel.size() : Size(3,3);
 8     anchor = normalizeAnchor(anchor, ksize);
 9 
10     CV_OCL_RUN(_dst.isUMat() && _src.dims() <= 2 && _src.channels() <= 4 &&
11                borderType == cv::BORDER_CONSTANT && borderValue == morphologyDefaultBorderValue() &&
12                (op == MORPH_ERODE || op == MORPH_DILATE) &&
13                anchor.x == ksize.width >> 1 && anchor.y == ksize.height >> 1,
14                ocl_morphOp(_src, _dst, kernel, anchor, iterations, op, borderType, borderValue) )
15 
16     if (iterations == 0 || kernel.rows*kernel.cols == 1)
17     {
18         _src.copyTo(_dst);
19         return;
20     }
21 
22     if (kernel.empty())
23     {
24         kernel = getStructuringElement(MORPH_RECT, Size(1+iterations*2,1+iterations*2));
25         anchor = Point(iterations, iterations);
26         iterations = 1;
27     }
28     else if( iterations > 1 && countNonZero(kernel) == kernel.rows*kernel.cols )
29     {
30         anchor = Point(anchor.x*iterations, anchor.y*iterations);
31         kernel = getStructuringElement(MORPH_RECT,
32                                        Size(ksize.width + (iterations-1)*(ksize.width-1),
33                                             ksize.height + (iterations-1)*(ksize.height-1)),
34                                        anchor);
35         iterations = 1;
36     }
37 
38     CV_IPP_RUN(IPP_VERSION_X100 >= 810, ipp_MorphOp(op, _src, _dst, kernel, anchor, iterations, borderType, borderValue))
39 
40     Mat src = _src.getMat();
41     _dst.create( src.size(), src.type() );
42     Mat dst = _dst.getMat();
43 
44     int nStripes = 1;
45 #if defined HAVE_TEGRA_OPTIMIZATION
46     if (src.data != dst.data && iterations == 1 &&  //NOTE: threads are not used for inplace processing
47         (borderType & BORDER_ISOLATED) == 0 && //TODO: check border types
48         src.rows >= 64 ) //NOTE: just heuristics
49         nStripes = 4;
50 #endif
51 
52     parallel_for_(Range(0, nStripes),
53                   MorphologyRunner(src, dst, nStripes, iterations, op, kernel, anchor, borderType, borderType, borderValue));
54 }

 

  等有时间了一定去研究。。。。。。。。。。。。。

  

 

   三、浅出——API函数快速上手

  

   3.1  形态学膨胀——dilate函数

    erode 函数，使用像素邻域内的局部极大运算符来膨胀一张图片，从src输入，由dst输出。支持就地（in-place）操作。

函数原型：

 

1 void dilate(InputArray src,  
2     OutputArray dst,  
3     InputArray kernel,  
4     Point anchor=Point(-1,-1),  
5     int iterations=1,  
6     int borderType=BORDER_CONSTANT,  
7     const Scalar& borderValue=morphologyDefaultBorderValue() 
8 )

 

  参数详解：

• 第一个参数，InputArray类型的src，输入图像，即源图像，填Mat类的对象即可。图像通道的数量可以是任意的，但图像深度应为CV_8U，CV_16U，CV_16S，CV_32F或 CV_64F其中之一。
• 第二个参数，OutputArray类型的dst，即目标图像，需要和源图片有一样的尺寸和类型。
• 第三个参数，InputArray类型的kernel，膨胀操作的核。若为NULL时，表示的是使用参考点位于中心3x3的核。

   我们一般使用函数 getStructuringElement配合这个参数的使用。getStructuringElement函数会返回指定形状和尺寸的结构元素（内核矩阵）。

   其中，getStructuringElement函数的第一个参数表示内核的形状，我们可以选择如下三种形状之一：  

• 矩形: MORPH_RECT
• 交叉形: MORPH_CROSS
• 椭圆形: MORPH_ELLIPSE

  而getStructuringElement函数的第二和第三个参数分别是内核的尺寸以及锚点的位置。

  我们一般在调用erode以及dilate函数之前，先定义一个Mat类型的变量来获得getStructuringElement函数的返回值。对于锚点的位置，有默认值Point(-1,-1)，表示锚点位于中心。且需要注意，十字形的element形状唯一依赖于锚点的位置。而在其他情况下，锚点只是影响了形态学运算结果的偏移。

 

  etStructuringElement函数相关的调用示例代码如下：

  

1 int g_nStrutElement = 3;  //结构元素（内核矩阵）的尺寸
2 
3 //获取自定义核
4 Mat element = getStructuringElement(MORPH_RECT,  
5     Size(2*g_nStructElementSize+1,2*g_nStructElementSize+1),  
6     Point( g_nStructElementSize, g_nStructElementSize ) );

 

   调用这样之后，我们便可以在接下来调用erode或dilate函数时，第三个参数填保存了getStructuringElement返回值的Mat类型变量。对应于我们上面的示例，就是填element变量

• 第四个参数，Point类型的anchor，锚的位置，其有默认值（-1，-1），表示锚位于中心。
• 第五个参数，int类型的iterations，迭代使用erode（）函数的次数，默认值为1。
• 第六个参数，int类型的borderType，用于推断图像外部像素的某种边界模式。注意它有默认值BORDER_DEFAULT。
• 第七个参数，const Scalar&类型的borderValue，当边界为常数时的边界值，有默认值morphologyDefaultBorderValue()，一般我们不用去管他。需要用到它时，可以看官方文档中的createMorphologyFilter()函数得到更详细的解释。

   使用erode函数，一般我们只需要填前面的三个参数，后面的四个参数都有默认值。而且往往结合getStructuringElement一起使用。

  调用范例：

   

1 //载入原图
2 Mat image = imread("1.jpg");
3 
4 //获取自定义核
5 Mat element = getStructuringElement(MORPH_RECT,Size(15,15));
6 Mat out;
7 //进行膨胀操作
8 dilate(image,out,element);

 

 

  3.2 形态学腐蚀——erode函数

   erode函数，使用像素邻域内的局部极小运算来腐蚀一张图片，从src输入，由dst输出。支持就地（in-place）操作。

  看一下函数原型：

  

1 void erode( InputArray src,  
2     OutputArray dst,  
3     InputArray kernel,  
4     Point anchor=Point(-1,-1),  
5     int iterations=1,  
6     int borderType=BORDER_CONSTANT,  
7     const Scalar& borderValue=morphologyDefaultBorderValue()  );

 

 参数详解：

• 第一个参数，InputArray类型的src，输入图像，即源图像，填Mat类的对象即可。图像通道的数量可以是任意的，但图像深度应为CV_8U，CV_16U，CV_16S，CV_32F或 CV_64F其中之一。
• 第二个参数，OutputArray类型的dst，即目标图像，需要和源图片有一样的尺寸和类型。
• 第三个参数，InputArray类型的kernel，腐蚀操作的内核。若为NULL时，表示的是使用参考点位于中心3x3的核。我们一般使用函数 getStructuringElement配合这个参数的使用。getStructuringElement函数会返回指定形状和尺寸的结构元素（内核矩阵）。（具体看上文中浅出部分dilate函数的第三个参数讲解部分）
• 第四个参数，Point类型的anchor，锚的位置，其有默认值（-1，-1），表示锚位于单位（element）的中心，我们一般不用管它。
• 第五个参数，int类型的iterations，迭代使用erode（）函数的次数，默认值为1。
• 第六个参数，int类型的borderType，用于推断图像外部像素的某种边界模式。注意它有默认值BORDER_DEFAULT。
• 第七个参数，const Scalar&类型的borderValue，当边界为常数时的边界值，有默认值morphologyDefaultBorderValue()，一般我们不用去管他。需要用到它时，可以看官方文档中的createMorphologyFilter()函数得到更详细的解释。

  

   同样的，使用erode函数，一般我们只需要填前面的三个参数，后面的四个参数都有默认值。而且往往结合getStructuringElement一起使用。

  调用范例：

//载入原图
Mat image = imread("1.jpg");

//获取自定义核
Mat element = getStructuringElement(MORPH_RECT, Size(15, 15));
Mat out;

//进行腐蚀操作
erode(image,out,element);

 

   3.3 实战

    

 1 #include <opencv2/core/core.hpp>
 2 #include <opencv2/highgui/highgui.hpp>
 3 #include <opencv2/imgproc/imgproc.hpp>
 4 #include <iostream>
 5 
 6 
 7 using namespace std;
 8 using namespace cv;
 9 
10 
11 /*----------------【1】膨胀dilate函数-------------------*/
12 /*
13 void main()
14 {
15     //载入原图
16     Mat image = imread("1.jpg");
17 
18     //创建窗口
19     namedWindow("【原图】膨胀操作");
20     namedWindow("【效果图】膨胀操作");
21 
22     //显示原图
23     imshow("【原图】膨胀操作",image);
24 
25     //获取自定义核
26     Mat element = getStructuringElement(MORPH_RECT, Size(15, 15));
27     Mat out;
28 
29     //进行膨胀操作
30     dilate(image,out,element);
31 
32     //显示效果图
33     imshow("【效果图】膨胀操作",out);
34 
35     waitKey();
36 }
37 */
38 
39 
40 /*----------------【2】腐蚀erode函数-------------------*/
41 /*
42 void main()
43 {
44     //载入原图
45     Mat image = imread("1.jpg");
46 
47     //创建窗口
48     namedWindow("【原图】腐蚀操作");
49     namedWindow("【效果图】腐蚀操作");
50 
51     //显示原图
52     imshow("【原图】腐蚀操作", image);
53 
54     //获取自定义核
55     Mat element = getStructuringElement(MORPH_RECT, Size(15, 15));
56     Mat out;
57 
58     //进行膨胀操作
59     erode(image, out, element);
60 
61     //显示效果图
62     imshow("【效果图】腐蚀操作", out);
63 
64     waitKey();
65 }
66 */

 

   

    四、综合示例——在实战中熟稔

     依然是每篇文章都会配给大家的一个详细注释的博文配套示例程序，把这篇文章中介绍的知识点以代码为载体，展现给大家。

    这个示例程序中的效果图窗口有两个滚动条，顾名思义，第一个滚动条“腐蚀/膨胀”用于在腐蚀/膨胀之间进行切换；第二个滚动条”内核尺寸”用于调节形态学操作时的内核尺寸，以得到效果不同的图像，有一定的可玩性。废话不多说，上代码吧：

   

 1 Mat g_srcImage, g_dstImage;     //原始图和效果图
 2 int g_nTrackbarNumber = 0;     //0表示腐蚀erode,1表示dialte
 3 int g_nStructElementSize = 3;   //结构元素（内核矩阵）的尺寸
 4 
 5 void Process();   //膨胀和腐蚀处理函数
 6 void on_TrackbarNumChange(int ,void*);  //回调函数
 7 void on_ElementSizeChange(int ,void*);  //回调函数
 8 
 9 
10 /*------------【Process()函数】--------------------------
11   描述：进行自定义的腐蚀和膨胀操作
12 -------------------------------------------------------*/
13 void Process()
14 {
15     //获取自定义核
16     Mat element = getStructuringElement(MORPH_RECT, Size(2 * g_nStructElementSize + 1, 2 * g_nStructElementSize + 1), Point(g_nStructElementSize, g_nStructElementSize));
17 
18     //进行膨胀或膨胀操作
19     if (g_nTrackbarNumber == 0)
20     {
21         erode(g_srcImage,g_dstImage,element);
22     }
23     else
24     {
25         dilate(g_srcImage,g_dstImage,element);
26     }
27 
28     //显示效果图
29     imshow("【效果图】",g_dstImage);
30 }
31 
32 
33 
34 /*------------------【on_TrackbarNumChange()函数】-------------------------
35    描述：腐蚀和膨胀之间切换开关的回调函数
36 ---------------------------------------------------------------------------*/
37 void on_TrackbarNumChange(int, void *)
38 {
39     //腐蚀和膨胀之间效果已经切换，回调函数体内需要调用一次Process函数，使改变后的效果立即生效并显示出来
40     Process();
41 }
42 
43 /*-------------------------【on_ElementSizeChange()函数】--------------------------
44     描述：腐蚀和膨胀操作内核改变时的回调函数
45 ----------------------------------------------------------------------------------*/
46 void on_ElementSizeChange(int, void *)
47 {
48     //内核尺寸已改变，回调函数体内需调用一次Process函数，使改变后的效果立即生效并显示出来
49     Process();
50 }
51 
52 int main()
53 {
54     //改变console字体颜色
55     system("color 5E");
56 
57     //载入原图
58     g_srcImage = imread("1.jpg");
59     if (!g_srcImage.data)
60     {
61         printf("Oh，no，读取srcImage错误~！ \\n");
62         return false;
63     }
64 
65     //显示原始图
66     namedWindow("【原始图】");
67     imshow("【原始图】", g_srcImage);
68 
69     //进行初次腐蚀操作并显示效果图
70     namedWindow("【效果图】");
71 
72     //获取自定义核
73     Mat element = getStructuringElement(MORPH_RECT,Size(2*g_nStructElementSize+1,2*g_nStructElementSize+1),Point(g_nStructElementSize,g_nTrackbarNumber));
74     erode(g_srcImage,g_dstImage,element);
75     imshow("【效果图】",g_dstImage);
76 
77     //创建轨迹条
78     createTrackbar("腐蚀/膨胀","【效果图】",&g_nTrackbarNumber,1,on_TrackbarNumChange);
79     createTrackbar("内核尺寸","【效果图】",&g_nStructElementSize,21,on_ElementSizeChange);
80 
81     //输出一些帮助信息
82     cout << endl << "\\t嗯。运行成功，请调整滚动条观察图像效果~\\n\\n"
83         << "\\t按下“q”键时，程序退出~!\\n"
84         << "\\n\\n\\t\\t\\t\\t by hehheh";
85 
86     //轮询获取按键信息，若下q键，程序退出
87     while (char(waitKey(1)) != \'q\') {}
88 
89 
90     return 0;
91 }

 

    最好自己敲一遍，这样记得更清楚。。。。