OpenCV C++（五）----图像平滑

Posted 2023-03-21

参考技术A

每一幅图像都包含某种程度的噪声，噪声可以理解为由一种或者多种原因造成的灰 度值的随机变化，如由光子通量的随机性造成的噪声等，在大多数情况下，通过平滑技术（也常称为滤波技术）进行抑制或者去除， 其中具备保持边缘（Edge Preserving）作用的平滑技术得到了更多的关注。常用的平滑处理算法包括基于二维离散卷积的高斯平滑、均值平滑，基于统计学方法的中值平滑，具备保持边缘作用的平滑算法的双边滤波、导向滤波等。

I与K的二维离散卷积的计算步骤如下。

显然，高为H1、宽为W1的矩阵I与高为H2、宽为W2的卷积核K 的full卷积结果是一 个高为 H1+H2-1 、宽为 W1+W2-1 的矩阵，一般H2 ≤H1，W2 ≤W1。

从full卷积的计算过程可知， 如果Kflip靠近I 的边界， 那么就会有部分延伸到I之外而导致访问到未定义的值， 忽略边界，只是考虑I能完全覆盖Kflip内的值的情况， 该过程称为valid卷积。
当然， 只有当H2≤H1且W2≤W1时才会存在 valid卷积 。

为了使得到的卷积结果和原图像的高、宽相等，所以通常在计算过程中给Kflip指定 一个“锚点”， 然后将“锚点”循环移至图像矩阵的（r， c） 处， 其中0≤r< H1， 0≤c<W1，接下来对应位置的元素逐个相乘，最后对所有的积进行求和作为输出图像矩阵在 （r， c） 处的输出值。这个卷积过程称为same卷积，

大部分时候，为了更方便地指定卷积核的锚点，通常卷积核的宽、高为奇数，那么可以简单地令中心点为锚点的位置。same卷积是full卷积的一部分，而如果valid卷积存在，那么valid卷积是same卷积的一部分。

对于full卷积和same卷积，矩阵I 边界处的值由于缺乏完整的邻接值，因此卷积运算 在这些区域需要特殊处理，方法是进行边界扩充，有如下几种常用方式。

利用上述不同的边界扩充方式得到的same卷积只是在距离矩阵上、下、左、右四个边界小于卷积核半径的区域内值会不同，所以只要在用卷积运算进行图像处理时，图像的重要信息不要落在距离边界小于卷积核半径的区域内就行。

如果一个卷积核至少由两个尺寸比它小的卷积核full卷积而成，并且在计算过程中在所有边界处均进行扩充零的操作，且满足

其中kerneli的尺寸均比Kernel小，1≤i≤n，则称该卷积核是可分离的。

在图像处理中经常使用这样的卷积核，它可以分离为一维水平方向和一维垂直方向上的卷积核。

（1）full卷积性质

如果卷积核Kernel是可分离的， 且Kernel=kernel1★kernel2， 则有：

（2）same卷积性质

其中

其中，根据可分离卷积的性质，有

理解了上述高斯平滑的过程， 就可以明白OpenCV实现的高斯平滑函数：

从参数的设置可以看出， GaussianBlur 也是通过分离的高斯卷积核实现的，也可以令水平方向和垂直方向上的标准差不相同，但是一般会取相同的标准差。 当平滑窗口比较小时， 对标准差的变化不是很敏感， 得到的高斯平滑效果差别不大； 相反，当平滑窗口 较大时，对标准差的变化很敏感， 得到的高斯平滑效果差别较大 。

利用卷积核 的分离性和卷积的结合律，虽然减少了运算量，但是随着卷积核窗口的增加，计算量仍会继续增大，可以利用图像的积分，实现时间复杂度为O（1）的快速均值平滑。

即任意一个位置的积分等于该位置左上角所有值的和。 利用矩阵的积分，可以计算出矩阵中任意矩形区域的和。

中值滤波最重要的能力是去除椒盐噪声。椒盐噪声是指在图像传输系统中由于解码误差等原因，导致图像中出现孤立的白点或者黑点。

一般来说，如果图像中出现较亮或者较暗的物体，若其大小小于中值平滑的窗口半径，那么它们基本上会被滤掉，而较大的目标则几乎会原封不动地保存下来。

中值平滑需要对邻域中的所有像素点按灰度值排序， 一般比卷积运算要慢。

在OpenCV中同样通过定义函数：

此外， 中值平滑只是排序统计平滑中的一种， 如果将取邻域的中值变为取邻域中的 最小值或者最大值， 显然会使图像变暗或者变亮。 这类方法就是后面要介绍的形态学 处理的基础。

高斯平滑、均值平滑在去除图像噪声时，会使图像的边缘信息变得模糊，接下来就 介绍在图像平滑处理过程中可以保持边缘的平滑算法： 双边滤波和导向滤波。

双边滤波是根据每个位置的邻域， 对该位置构建不同的权重模板。 详细过程如下：

其中0≤h<winH， 0≤w<winW， 且每个位置的空间距离权重模板是相同的。

其中0≤h<winH， 0≤w<winW， 显然每个位置的相似性权重模板是不一样的。

整个过程只在第二步计算相似性权重模板时和双边滤波不同， 但是对图像平滑的效果， 特别是对纹理图像来说， 却有很大的不同。

扩展
循环引导滤波 是一种 迭代 的方法， 本质上是一种多次迭代的联合双边滤波， 只是每次计算相似性权重 模板的依据不一样——利用本次计算的联合双边滤波结果作为下一次联合双边滤波计算 相似性权重模板的依据。

导向滤波在平滑图像的基础上，有良好的保边作用， 而且在细节增强等方面都有良好的表现，在执行时间上也比双边滤波快很多。

OpenCV-高斯低通&高通滤波器（C++）

场景需求

       做图像处理，滤波是家常便饭，今天给大家分享高斯滤波器实现。

       众所周知，在频谱中，低频主要对应图像在平滑区域的总体灰度级分布，高频对应图像细节部分，如边缘和噪声。高斯滤波是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像处理的减噪过程。公式和具体原理就不再罗列了，百度一下全都有，接下来是硬货——C++&OpenCV代码实现。

相关功能函数的C++实现代码

// 高斯低通滤波核函数
cv::Mat gaussian_low_pass_kernel(cv::Mat scr, float sigma)
{
	cv::Mat gaussianBlur(scr.size(), CV_32FC1); //，CV_32FC1
	float d0 = sigma;//高斯函数参数，越小，频率高斯滤波器越窄，滤除高频成分越多，图像就越平滑
	for (int i = 0; i < scr.rows; i++) {
		for (int j = 0; j < scr.cols; j++) {
			float d = pow(float(i - scr.rows / 2), 2) + pow(float(j - scr.cols / 2), 2);//分子,计算pow必须为float型
			gaussianBlur.at<float>(i, j) = expf(-(d*d) / (2 * d0*d0));//expf为以e为底求幂（必须为float型）
		}
	}
	return gaussianBlur;
}
// 高斯低通滤波
cv::Mat gaussian_low_pass_filter(cv::Mat &src, float d0)
{
	cv::Mat padded = image_make_border(src);
	cv::Mat gaussian_kernel = gaussian_low_pass_kernel(padded, d0);
	cv::Mat result = frequency_filter(padded, gaussian_kernel);
	return result;
}
// 高斯高通滤波核函数
cv::Mat gaussian_high_pass_kernel(cv::Mat scr, float sigma)
{
	cv::Mat gaussianBlur(scr.size(), CV_32FC1); //，CV_32FC1
	float d0 = sigma;
	for (int i = 0; i < scr.rows; i++) {
		for (int j = 0; j < scr.cols; j++) {
			float d = pow(float(i - scr.rows / 2), 2) + pow(float(j - scr.cols / 2), 2);//分子,计算pow必须为float型
			gaussianBlur.at<float>(i, j) = 1 - expf(-(d*d) / (2 * d0*d0));;
		}
	}
	return gaussianBlur;
}
// 高斯高通滤波
cv::Mat gaussian_high_pass_filter(cv::Mat &src, float d0)
{
	cv::Mat padded = image_make_border(src);
	cv::Mat gaussian_kernel = gaussian_high_pass_kernel(padded, d0);//理想低通滤波器
	cv::Mat result = frequency_filter(padded, gaussian_kernel);
	return result;
}
// 频率域滤波
cv::Mat frequency_filter(cv::Mat &scr, cv::Mat &blur)
{
	cv::Mat mask = scr == scr;
	scr.setTo(0.0f, ~mask);

	//创建通道，存储dft后的实部与虚部（CV_32F，必须为单通道数）
	cv::Mat plane[] = { scr.clone(), cv::Mat::zeros(scr.size() , CV_32FC1) };

	cv::Mat complexIm;
	cv::merge(plane, 2, complexIm); // 合并通道 （把两个矩阵合并为一个2通道的Mat类容器）
	cv::dft(complexIm, complexIm); // 进行傅立叶变换，结果保存在自身

	// 分离通道（数组分离）
	cv::split(complexIm, plane);

	// 以下的操作是频域迁移
	fftshift(plane[0], plane[1]);

	// *****************滤波器函数与DFT结果的乘积****************
	cv::Mat blur_r, blur_i, BLUR;
	cv::multiply(plane[0], blur, blur_r);  // 滤波（实部与滤波器模板对应元素相乘）
	cv::multiply(plane[1], blur, blur_i);  // 滤波（虚部与滤波器模板对应元素相乘）
	cv::Mat plane1[] = { blur_r, blur_i };

	// 再次搬移回来进行逆变换
	fftshift(plane1[0], plane1[1]);
	cv::merge(plane1, 2, BLUR); // 实部与虚部合并

	cv::idft(BLUR, BLUR);       // idft结果也为复数
	BLUR = BLUR / BLUR.rows / BLUR.cols;

	cv::split(BLUR, plane);//分离通道，主要获取通道

	return plane[0];
}
// 图像边界处理
cv::Mat image_make_border(cv::Mat &src)
{
	int w = cv::getOptimalDFTSize(src.cols); // 获取DFT变换的最佳宽度
	int h = cv::getOptimalDFTSize(src.rows); // 获取DFT变换的最佳高度

	cv::Mat padded;
	// 常量法扩充图像边界，常量 = 0
	cv::copyMakeBorder(src, padded, 0, h - src.rows, 0, w - src.cols, cv::BORDER_CONSTANT, cv::Scalar::all(0));
	padded.convertTo(padded, CV_32FC1);

	return padded;
}
// fft变换后进行频谱搬移
void fftshift(cv::Mat &plane0, cv::Mat &plane1)
{
	// 以下的操作是移动图像  (零频移到中心)
	int cx = plane0.cols / 2;
	int cy = plane0.rows / 2;
	cv::Mat part1_r(plane0, cv::Rect(0, 0, cx, cy));  // 元素坐标表示为(cx, cy)
	cv::Mat part2_r(plane0, cv::Rect(cx, 0, cx, cy));
	cv::Mat part3_r(plane0, cv::Rect(0, cy, cx, cy));
	cv::Mat part4_r(plane0, cv::Rect(cx, cy, cx, cy));

	cv::Mat temp;
	part1_r.copyTo(temp);  //左上与右下交换位置(实部)
	part4_r.copyTo(part1_r);
	temp.copyTo(part4_r);

	part2_r.copyTo(temp);  //右上与左下交换位置(实部)
	part3_r.copyTo(part2_r);
	temp.copyTo(part3_r);

	cv::Mat part1_i(plane1, cv::Rect(0, 0, cx, cy));  //元素坐标(cx,cy)
	cv::Mat part2_i(plane1, cv::Rect(cx, 0, cx, cy));
	cv::Mat part3_i(plane1, cv::Rect(0, cy, cx, cy));
	cv::Mat part4_i(plane1, cv::Rect(cx, cy, cx, cy));

	part1_i.copyTo(temp);  //左上与右下交换位置(虚部)
	part4_i.copyTo(part1_i);
	temp.copyTo(part4_i);

	part2_i.copyTo(temp);  //右上与左下交换位置(虚部)
	part3_i.copyTo(part2_i);
	temp.copyTo(part3_i);
}

测试代码

#include<iostream>
#include<opencv2/opencv.hpp>
#include<ctime>
using namespace std;
using namespace cv;

cv::Mat gaussian_low_pass_kernel(cv::Mat scr, float sigma);
cv::Mat gaussian_low_pass_filter(cv::Mat &src, float d0);
cv::Mat gaussian_high_pass_kernel(cv::Mat scr, float sigma);
cv::Mat gaussian_high_pass_filter(cv::Mat &src, float d0);
cv::Mat frequency_filter(cv::Mat &scr, cv::Mat &blur);
cv::Mat image_make_border(cv::Mat &src);
void fftshift(cv::Mat &plane0, cv::Mat &plane1);

int main(void)
{
	Mat test = imread("tangsan.jpg", 0);
	float D0 = 50.0f;
	float D1 = 5.0f;
	Mat lowpass = gaussian_low_pass_filter(test, D0);
	Mat highpass = gaussian_high_pass_filter(test, D1);

	imshow("original", test);
	imshow("low pass", lowpass / 255);     // lowpass的数据有正有负，又因为数据的模值大于1，imshow显示出来就是大于1的就是白，小于0的都是黑
	imshow("high pass", highpass / 255);   // highpass的数据都比较大，0-255，imshow对于float型Mat显示需要除以255
	waitKey(0);

	system("pause");
	return 0;
}

// 高斯低通滤波核函数
cv::Mat gaussian_low_pass_kernel(cv::Mat scr, float sigma)
{
	cv::Mat gaussianBlur(scr.size(), CV_32FC1); //，CV_32FC1
	float d0 = sigma;//高斯函数参数，越小，频率高斯滤波器越窄，滤除高频成分越多，图像就越平滑
	for (int i = 0; i < scr.rows; i++) {
		for (int j = 0; j < scr.cols; j++) {
			float d = pow(float(i - scr.rows / 2), 2) + pow(float(j - scr.cols / 2), 2);//分子,计算pow必须为float型
			gaussianBlur.at<float>(i, j) = expf(-(d*d) / (2 * d0*d0));//expf为以e为底求幂（必须为float型）
		}
	}
	return gaussianBlur;
}
// 高斯低通滤波
cv::Mat gaussian_low_pass_filter(cv::Mat &src, float d0)
{
	cv::Mat padded = image_make_border(src);
	cv::Mat gaussian_kernel = gaussian_low_pass_kernel(padded, d0);
	cv::Mat result = frequency_filter(padded, gaussian_kernel);
	return result;
}
// 高斯高通滤波核函数
cv::Mat gaussian_high_pass_kernel(cv::Mat scr, float sigma)
{
	cv::Mat gaussianBlur(scr.size(), CV_32FC1); //，CV_32FC1
	float d0 = sigma;
	for (int i = 0; i < scr.rows; i++) {
		for (int j = 0; j < scr.cols; j++) {
			float d = pow(float(i - scr.rows / 2), 2) + pow(float(j - scr.cols / 2), 2);//分子,计算pow必须为float型
			gaussianBlur.at<float>(i, j) = 1 - expf(-(d*d) / (2 * d0*d0));;
		}
	}
	return gaussianBlur;
}
// 高斯高通滤波
cv::Mat gaussian_high_pass_filter(cv::Mat &src, float d0)
{
	cv::Mat padded = image_make_border(src);
	cv::Mat gaussian_kernel = gaussian_high_pass_kernel(padded, d0);//理想低通滤波器
	cv::Mat result = frequency_filter(padded, gaussian_kernel);
	return result;
}
// 频率域滤波
cv::Mat frequency_filter(cv::Mat &scr, cv::Mat &blur)
{
	cv::Mat mask = scr == scr;
	scr.setTo(0.0f, ~mask);

	//创建通道，存储dft后的实部与虚部（CV_32F，必须为单通道数）
	cv::Mat plane[] = { scr.clone(), cv::Mat::zeros(scr.size() , CV_32FC1) };

	cv::Mat complexIm;
	cv::merge(plane, 2, complexIm); // 合并通道 （把两个矩阵合并为一个2通道的Mat类容器）
	cv::dft(complexIm, complexIm); // 进行傅立叶变换，结果保存在自身

	// 分离通道（数组分离）
	cv::split(complexIm, plane);

	// 以下的操作是频域迁移
	fftshift(plane[0], plane[1]);

	// *****************滤波器函数与DFT结果的乘积****************
	cv::Mat blur_r, blur_i, BLUR;
	cv::multiply(plane[0], blur, blur_r);  // 滤波（实部与滤波器模板对应元素相乘）
	cv::multiply(plane[1], blur, blur_i);  // 滤波（虚部与滤波器模板对应元素相乘）
	cv::Mat plane1[] = { blur_r, blur_i };

	// 再次搬移回来进行逆变换
	fftshift(plane1[0], plane1[1]);
	cv::merge(plane1, 2, BLUR); // 实部与虚部合并

	cv::idft(BLUR, BLUR);       // idft结果也为复数
	BLUR = BLUR / BLUR.rows / BLUR.cols;

	cv::split(BLUR, plane);//分离通道，主要获取通道

	return plane[0];
}
// 图像边界处理
cv::Mat image_make_border(cv::Mat &src)
{
	int w = cv::getOptimalDFTSize(src.cols); // 获取DFT变换的最佳宽度
	int h = cv::getOptimalDFTSize(src.rows); // 获取DFT变换的最佳高度

	cv::Mat padded;
	// 常量法扩充图像边界，常量 = 0
	cv::copyMakeBorder(src, padded, 0, h - src.rows, 0, w - src.cols, cv::BORDER_CONSTANT, cv::Scalar::all(0));
	padded.convertTo(padded, CV_32FC1);

	return padded;
}
// fft变换后进行频谱搬移
void fftshift(cv::Mat &plane0, cv::Mat &plane1)
{
	// 以下的操作是移动图像  (零频移到中心)
	int cx = plane0.cols / 2;
	int cy = plane0.rows / 2;
	cv::Mat part1_r(plane0, cv::Rect(0, 0, cx, cy));  // 元素坐标表示为(cx, cy)
	cv::Mat part2_r(plane0, cv::Rect(cx, 0, cx, cy));
	cv::Mat part3_r(plane0, cv::Rect(0, cy, cx, cy));
	cv::Mat part4_r(plane0, cv::Rect(cx, cy, cx, cy));

	cv::Mat temp;
	part1_r.copyTo(temp);  //左上与右下交换位置(实部)
	part4_r.copyTo(part1_r);
	temp.copyTo(part4_r);

	part2_r.copyTo(temp);  //右上与左下交换位置(实部)
	part3_r.copyTo(part2_r);
	temp.copyTo(part3_r);

	cv::Mat part1_i(plane1, cv::Rect(0, 0, cx, cy));  //元素坐标(cx,cy)
	cv::Mat part2_i(plane1, cv::Rect(cx, 0, cx, cy));
	cv::Mat part3_i(plane1, cv::Rect(0, cy, cx, cy));
	cv::Mat part4_i(plane1, cv::Rect(cx, cy, cx, cy));

	part1_i.copyTo(temp);  //左上与右下交换位置(虚部)
	part4_i.copyTo(part1_i);
	temp.copyTo(part4_i);

	part2_i.copyTo(temp);  //右上与左下交换位置(虚部)
	part3_i.copyTo(part2_i);
	temp.copyTo(part3_i);
}

测试效果

图1 频域高斯低通滤波器示意图

图2 低通高通效果图

       不同的滤波参数导致的滤波器尺寸大小不一，得到的结果也就不一样~

       另外，如果我的代码有什么问题，欢迎大家提出异议批评指正，一同进步~

       如果文章帮助到你了，可以点个赞让我知道，我会很快乐~加油！