人工智能中神经网络最重要的运算--卷积的介绍

Posted 2021-04-26 生栋说

人工智能中最重要的运算：卷积的介绍
如之前所说，连接派的主打算法是卷积神经网络。它是1989年由 Yan LeCun 提出的，在此之前，神经网络中是使用普通的矩阵乘积运算。卷积神经网络非常擅长处理图片类型的数据，它之所以得名，是因为此网络中最重要的运算就是卷积运算，几乎占了90%以上的比重。

卷积是什么？

卷积是数学中的一种运算：通过两个函数 f 和 g 生成第三个函数。“卷积”即代表了最终的结果也代表了中间计算的过程。其数学公式如下图所示：

卷积是求函数 g 在移动过程中和另外一个函数 f 的重叠部分之和。需要先把函数 g 沿坐标竖轴反转，然后沿横轴移动。在这个过程中两个函数的重叠部分函数值乘积求积分。

图形化解释

从 MathWorld 网站看到两个很形象的动图：

a. 两个矩形脉冲函数的卷积

b. 两个高斯函数的卷积：

图中红色和蓝色曲线是函数 f 和 g，可以看到 g 在沿着横轴正方向在平移。灰色区域代表两个函数的乘积部分。而绿色曲线是卷积的结果，它是以 t 为变量的交集部分乘积的积分函数。

图片处理中的应用

卷积在信号处理等很多领域都有应用。比如统计学中，加权的滑动平均是一种卷机。概率论中，两个统计独立变量X与Y的和的概率密度函数是X与Y的概率密度函数的卷积。电子工程与信号处理中，任一个线性系统的输出都可以通过将输入信号与系统函数（系统的冲激响应）做卷积获得。

这里为了方便直观理解，我们举例说明卷积在离散场景如图片处理中的几类典型应用。对于同一个建筑，通过使用不同的函数 g，在图片处理软件比如PS 或者 gimp 中叫过滤器 ，可以得到不同效果。

正常的图片：

模糊化

边缘检测

上述右边的图片，是使用左侧给出的矩阵，在以步长为一的情况下，从图片左上角进行对应元素的矩阵乘法得到输出图片中的一个像素。其过程的动态图如下：

举例

DeepLearning 这本电子书中举了一个很形象的例子。假设我们使用一个激光传感器来跟踪宇宙飞船的位置。激光传感器提供了一个简单的输出 x(t)，代表了某个时刻t，飞船的位置。x和t取值都是实数，我们可以在任意时刻获取位置。

现在因为激光传感器有一些噪音，为了在预估飞船位置时降噪，我们想平均一下几次的测量值。当然最近的测量权重应该越大，因为时间越近，测量越接近真实情况。此时可以使用加权函数w(a)，a是从测量那一刻开始逝去的时间，比如a=0 时刻是刚开始测量，a=m 代表已经开始测量 m 时间了。如果把这个权重应用到每个时刻，就可以得到一个新函数 s ，提供了宇宙飞船位置的平滑估计：

   

在上述这个例子里 w 函数需要是一个有效的概率密度函数，否则输出不会是一个加权平均值。

参考资料：

1. 维基百科 卷积

2. Deep Learning Book

3. MathWorld Convolution

4. Convolution Matrix