卷积和反卷积详细说明

Posted 2021-05-14 hansjorn

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了卷积和反卷积详细说明相关的知识，希望对你有一定的参考价值。

转载:https://zhuanlan.zhihu.com/p/124626648

转载：https://www.cnblogs.com/wanghui-garcia/p/10791328.html

1. 卷积 Convolution

1.1 卷积输出尺寸

输出图像尺寸可以根据以下公式获得

$o = \\frac{i+2p-k}{s} +1$

$i$ ：输入图像尺寸
$p$ : padding 大小
$k$ : 卷积核大小
$s$ : 步长

卷积：蓝色的输入图片（4 x4）,深蓝色代表卷积核（3 x 3）,绿色为输出图像（2 x 2）

假如现在有一个4 x 4的图片, 使用一个3 x 3的kernel 进行卷积

图片： $I = \\begin{equation} \\left[\\begin{array}{llll}x_{1} & x_{2} & x_{3} & x_{4} \\\\ x_{5} & x_{6} & x_{7} & x_{8} \\\\ x_{9} & x_{10} & x_{11} & x_{12} \\\\ x_{13} & x_{14} & x_{15} & x_{16}\\end{array}\\right] \\end{equation}$ 卷积核： $\\begin{equation} \\left[\\begin{array}{lll}w_{0,0} & w_{0,1} & w_{0,2} \\\\ w_{1,0} & w_{1,1} & w_{1,2} \\\\ w_{2,0} & w_{2,1} & w_{2,2}\\end{array}\\right] \\end{equation}$

strides = 1 , padding = 0, 卷积后，输出图像的尺寸为 $2 \\times 2$

如果卷积核很大，那么可以使用傅里叶变换, 提升卷积的性能。

2. 反卷积 Transposed Convolution

由于卷积核一般比原始图像小，所以卷积之后的图像尺寸往往会变小。有时候我们需要将卷积后的图像还原成原始图像的尺寸，即实现图像从小分辨率到大分辨率的映射，这种操作就叫做上采样（Upsampling）。而反卷积正是一种上采样方法。

反卷积，又称为转置卷积（Transposed Convolution,），它是一种特殊的卷积，先padding来扩大图像尺寸，紧接着跟正向卷积一样，旋转卷积核180度，再进行卷积计算。看上去就像，已知正向卷积的输出图像，卷积核，得到正向卷积中的原始图像（并非真的得到原始图像，像素点是不一样的，但是尺寸是一致的）。

它看上去像是正向卷积的逆运算，但其实并不是。因为反卷积只能还原原始图像的尺寸，但是并不能真的恢复原始图像内容，即每个元素值其实是不一样的。

卷积过程中：

$o$ 表示输出， $i$ 表示输入， $k$ :表示kernel的大小， $p$ ：表示padding, $s$ : 表达strides

反卷积过程中：

$o^{\'}$ 表示输出， $i^{\'}$ 表示输入， $k^{\'}$ :表示kernel的大小， $p^{\'}$ ：表示padding, $s^{\'}$ : 表达strides

卷积后的 $o$ 则反卷积的 $i^{\'}$ , 一般卷积核是不会变的， $k=k^{\'}$ ，需要注意的是，卷积与反卷积的padding很可能是不一样。

2.1 Striding

反卷积的Striding跟卷积有点不一样，它在输入的每个元素之间插入 $s^{\'} -1$ 个值为0的元素

Transposed convolution : Striding

如果我们将反卷积看成是一种特殊的卷积，它其实是根据反卷积中指定的步长strides, 修改了输入 $i^{\'}$ , 根据strding 进行补0操作，得到 $I_s$ , 其大小变为 $i^{\'}_s = i^{\'} + (s^{\'}-1)\\times(i^{\'}-1)$ , 然后对 $I_s$ 进行s=1的卷积。例如，对应上面的三个子图， $s^{\'}=1$ 对应的 $i^{\'}_s = 3$ , $s^{\'}=2$ 对应的 $i^{\'}_s = 5$ ， $s^{\'}=3$ 对应的 $i^{\'}_s = 7$ 。