图片处理-opencv-12.图像傅里叶变换

Posted 2023-04-03

参考技术A

傅里叶变换（Fourier Transform，简称FT）常用于数字信号处理，它的目的是将时间域上的信号转变为频率域上的信号。随着域的不同，对同一个事物的了解角度也随之改变，因此在时域中某些不好处理的地方，在频域就可以较为简单的处理。同时，可以从频域里发现一些原先不易察觉的特征。傅里叶定理指出“任何连续周期信号都可以表示成（或者无限逼近）一系列正弦信号的叠加。”

傅里叶变换可以应用于图像处理中，经过对图像进行变换得到其频谱图。从谱频图里频率高低来表征图像中灰度变化剧烈程度。图像中的边缘信号和噪声信号往往是高频信号，而图像变化频繁的图像轮廓及背景等信号往往是低频信号。这时可以有针对性的对图像进行相关操作，例如图像除噪、图像增强和锐化等。

Numpy中的fft模块，相关函数如下：

Numpy中的 FFT包提供了函数 np.fft.fft2()可以对信号进行快速傅里叶变换，其函数原型如下所示，该输出结果是一个复数数组（Complex Ndarry）。

fft2(a, s=None, axes=(-2, -1), norm=None)

频率分布图谱，其中越靠近中心位置频率越低，越亮（灰度值越高）的位置代表该频率的信号振幅越大

傅里叶逆变换，是傅里叶变换的逆操作，将频谱图像转换为原始图像的过程。通过傅里叶变换将转换为频谱图，并对高频（边界）和低频（细节）部分进行处理，接着需要通过傅里叶逆变换恢复为原始效果图。频域上对图像的处理会反映在逆变换图像上，从而更好地进行图像处理。

图像逆傅里叶变换主要使用的函数如下所示：

OpenCV 中相应的函数是cv2.dft()和用Numpy输出的结果一样，但是是双通道的。第一个通道是结果的实数部分，第二个通道是结果的虚数部分，并且输入图像要首先转换成 np.float32 格式。其函数原型如下所示：

dst = cv2.dft(src, dst=None, flags=None, nonzeroRows=None)

由于输出的频谱结果是一个复数，需要调用cv2.magnitude()函数将傅里叶变换的双通道结果转换为0到255的范围。其函数原型如下：

cv2.magnitude(x, y)

OpenCV 中，通过函数cv2.idft()实现傅里叶逆变换，其返回结果取决于原始图像的类型和大小，原始图像可以为实数或复数。其函数原型如下所示：

dst = cv2.idft(src[, dst[, flags[, nonzeroRows]]])

傅里叶变换的目的并不是为了观察图像的频率分布（至少不是最终目的），更多情况下是为了对频率进行过滤，通过修改频率以达到图像增强、图像去噪、边缘检测、特征提取、压缩加密等目的。

过滤的方法一般有三种：低通（Low-pass）、高通（High-pass）、带通（Band-pass）。

高通滤波器是指通过高频的滤波器，衰减低频而通过高频，常用于增强尖锐的细节，但会导致图像的对比度会降低。该滤波器将检测图像的某个区域，根据像素与周围像素的差值来提升像素的亮度。

低通滤波器是指通过低频的滤波器，衰减高频而通过低频，常用于模糊图像。低通滤波器与高通滤波器相反，当一个像素与周围像素的插值小于一个特定值时，平滑该像素的亮度，常用于去燥和模糊化处理。

OpenCV 完整例程76. OpenCV 实现图像傅里叶变换

【OpenCV 完整例程】76. OpenCV 实现图像傅里叶变换

欢迎关注 『OpenCV 完整例程 100 篇』 系列，持续更新中
欢迎关注 『Python小白的OpenCV学习课』 系列，持续更新中

2.3 二维离散傅里叶变换（DFT）

对于二维图像处理，通常使用 $x,y$ 表示离散的空间域坐标变量，用 $u,v$ 表示离散的频率域变量。二维离散傅里叶变换（DFT）和反变换（IDFT）为：

$$\begin{array}{rl}F(u,v)& =\sum _{x=0}^{M-1}\sum _{y=0}^{N-1}f(x,y)e^{-j2\pi (ux/M+vy/N)}\\ f(x,y)& =\frac{1}{MN}\sum _{u=0}^{M-1}\sum _{v=0}^{N-1}F(u,v)e^{j2\pi (ux/M+vy/N)}\end{array}$$
二维离散傅里叶变换也可以用极坐标表示：
$$F(u,v)=R(u,v)+jI(u,v)=|F(u,v)|e^{j\varphi (u,v)}$$
傅里叶频谱（Fourier spectrum）为：
$$|F(u,v)|=[R^2(u,v)+I^2(u,v){]}^{1/2}$$
傅里叶相位谱（Fourier phase spectrum）为：
$$\varphi (u,v)=arctan[I(u,v)/R(u,v)]$$
傅里叶功率谱（Fourier power spectrum）为：
$$P(u,v)=|F(u,v){|}^2=R^2(u,v)+I^2(u,v)$$

空间取样和频率间隔是相互对应的，频率域所对应的离散变量间的间隔为：$\Delta u=1/M\Delta T，\Delta v=1/N\Delta Z$。即：频域中样本之间的间隔，与空间样本之间的间隔及样本数量的乘积成反比。

空间域滤波器和频率域滤波器也是相互对应的，二维卷积定理是在空间域和频率域滤波之间建立等价关系的纽带：
$$(f\star h)(x,y)\iff (F\cdot H)(u,v)$$
这表明 F 和 H 分别是 f 和 h 的傅里叶变换；f 和 h 的空间卷积的傅里叶变换，是它们的变换的乘积。

2.5 OpenCV 实现图像傅里叶变换（cv.dft）

使用 OpenCV 中的 cv.dft() 函数也可以实现图像的傅里叶变换，cv.idft() 函数实现图像傅里叶逆变换。

函数说明：

	cv.dft(src[, dst[, flags[, nonzeroRows]]]) → dst
	cv.idft(src[, dst[, flags[, nonzeroRows]]]) → dst

参数说明：

• src：输入图像，单通道灰度图像，使用 np.float32 格式
• dst：输出图像，图像大小与 src 相同，数据类型由 flag 决定
• flag：转换标识符
  • cv.DFT_INVERSE：用一维或二维逆变换取代默认的正向变换
  • cv.DFT_SCALE：缩放比例标识，根据元素数量求出缩放结果，常与DFT_INVERSE搭配使用
  • cv.DFT_ROWS: 对输入矩阵的每行进行正向或反向的傅里叶变换，常用于三维或高维变换等复杂操作
  • cv.DFT_COMPLEX_OUTPUT：对一维或二维实数数组进行正向变换，默认方法，结果是由 2个通道表示的复数阵列，第一通道是实数部分，第二通道是虚数部分
  • cv.DFT_REAL_OUTPUT：对一维或二维复数数组进行逆变换，结果通常是一个尺寸相同的复数矩阵

注意事项：

1. 输入图像 src 是 np.float32 格式，如图像使用 np.uint8 格式则必须先转换 np.float32 格式。
2. 默认方法 cv.DFT_COMPLEX_OUTPUT 时，输入 src 是 np.float32 格式的单通道二维数组，输出 dst 是 2个通道的二维数组，第一通道 dft[:,:,0] 是实数部分，第二通道 dft[:,:,1] 是虚数部分。
3. 不能直接用于显示图像。可以使用 cv.magnitude() 函数将傅里叶变换的结果转换到灰度 [0,255]。
4. idft(src, dst, flags) 等价于 dft(src, dst, flags=DFT_INVERSE)。
5. OpenCV 实现傅里叶变换，计算速度比 Numpy 更快。

转换标识符为 cv.DFT_COMPLEX_OUTPUT 时，cv.dft() 函数的输出是 2个通道的二维数组，使用 cv.magnitude() 函数可以实现计算二维矢量的幅值 。

函数说明：

	cv.magnitude(x, y[, magnitude]) → dst

参数说明：

• x：一维或多维数组，也表示复数的实部，浮点型
• y：一维或多维数组，也表示复数的虚部，浮点型，数组大小必须与 x 相同
• dst：输出数组，数组大小和数据类型与 x 相同，运算公式为：

$$dst(I)=\sqrt{x(I{)}^2+y(I{)}^2}$$

傅里叶变换及相关操作的取值范围可能不适于图像显示，需要进行归一化处理。 OpenCV 中的 cv.normalize() 函数可以实现图像的归一化。

函数说明：

	cv.normalize(src, dst[, alpha[, beta[, norm_type[, dtype[, mask]]]]]) → dst

参数说明：

• src：输入图像
• dst：输出结果，与输入图像同尺寸同类型
• alpha：归一化后的最小值，可选项，默认值为0
• beta：归一化后的最大值，可选项，默认值为1
• norm_type：归一化类型
  • NORM_INF：Linf 范数（绝对值的最大值）
  • NORM_L1：L1 范数（绝对值的和）
  • NORM_L2：L2 范数（欧几里德距离），默认类型
  • NORM_MINMAX：线性缩放，常用类型
• dtype：可选项，默认值 -1，表示输出矩阵与输入图像类型相同
• mask：掩模遮罩，可选项，默认无遮罩

傅里叶变换在理论上需要 $O(MN{)}^2$ 次运算，非常耗时；快速傅里叶变换只需要 $O(MNlog(MN))$ 次运算就可以完成。

OpenCV 中的傅里叶变换函数 cv.dft() 对于行数和列数都可以分解为 $2^p\ast 3^q\ast 5^r$ 的矩阵的计算性能最好。为了提高运算性能，可以对原矩阵的右侧和下方补 0，以满足该分解条件。OpenCV 中的 cv.getOptimalDFTSize() 函数可以实现图像的最优 DFT 尺寸扩充，适用于 cv.dft() 和 np.fft.fft2()。

函数说明：

	cv.getOptimalDFTSize(versize) → retval

参数说明：

• versize：数组大小
• retval：DFT 扩充的最优数组大小

例程 8.11：二维图像的离散傅里叶变换（OpenCV）

    # 8.11：OpenCV 实现二维图像的离散傅里叶变换
    imgGray = cv2.imread("../images/Fig0424a.tif", flags=0)  # flags=0 读取为灰度图像

    # cv2.dft 实现图像的傅里叶变换
    imgFloat32 = np.float32(imgGray)  # 将图像转换成 float32
    dft = cv2.dft(imgFloat32, flags=cv2.DFT_COMPLEX_OUTPUT)  # 傅里叶变换
    dftShift = np.fft.fftshift(dft)  # 将低频分量移动到频域图像的中心

    # 幅度谱
    # ampSpe = np.sqrt(np.power(dft[:,:,0], 2) + np.power(dftShift[:,:,1], 2))
    dftAmp = cv2.magnitude(dft[:,:,0], dft[:,:,1])  # 幅度谱，未中心化
    dftShiftAmp = cv2.magnitude(dftShift[:,:,0], dftShift[:,:,1])  # 幅度谱，中心化
    dftAmpLog = np.log(1 + dftShiftAmp)  # 幅度谱对数变换，以便于显示
    # 相位谱
    phase = np.arctan2(dftShift[:,:,1], dftShift[:,:,0])  # 计算相位角(弧度制)
    dftPhi = phase / np.pi*180  # 将相位角转换为 [-180, 180]

    print("dftMag max=, min=".format(dftAmp.max(), dftAmp.min()))
    print("dftPhi max=, min=".format(dftPhi.max(), dftPhi.min()))
    print("dftAmpLog max=, min=".format(dftAmpLog.max(), dftAmpLog.min()))

    # cv2.idft 实现图像的逆傅里叶变换
    invShift = np.fft.ifftshift(dftShift)  # 将低频逆转换回图像四角
    imgIdft = cv2.idft(invShift)  # 逆傅里叶变换
    imgRebuild = cv2.magnitude(imgIdft[:,:,0], imgIdft[:,:,1])  # 重建图像

    plt.figure(figsize=(9, 6))
    plt.subplot(231), plt.title("Original image"), plt.axis('off')
    plt.imshow(imgGray, cmap='gray')
    plt.subplot(232), plt.title("DFT Phase"), plt.axis('off')
    plt.imshow(dftPhi, cmap='gray')
    plt.subplot(233), plt.title("Rebuild image with IDFT"), plt.axis('off')
    pltOpenCV中的图像处理 —— 傅里叶变换+模板匹配

 Opencv 基于傅里叶变换的图片滤波处理
 Opencv 基于傅里叶变换的图片滤波处理
 图像处理之图像傅里叶变换
 Python图像处理采样卷积与离散傅里叶变换
 计算机视觉 图像的傅里叶变换