DeepLearning深度学习课程笔记

Posted 2021-09-02 醉忆80

一、什么是神经网络

假设有一个数据集，它包含了六栋房子的信息。知道房屋的面积是多少平方英尺或者平方米，并且知道房屋价格。这时，想要拟合一个根据房屋面积预测房价的函数。 我们用这些数据拟合一条直线。 ” 于是得到这样一条直线。

我们知道价格永远不会是负数的。因此，为了替代 一条可能会让价格为负的直线，把直线弯曲一点，让它最终在零结束。这条粗的蓝线就是最终函数，用于根据房屋面积预测价格。有部分是零，而直线的部分拟合的很好。

作为一个神经网络，这几乎可能是最简单的神经网络。我们把房屋的面积作为神经网络的输入（我们称之为𝑥 ），通过一个节点（一个小圆圈），最终输出了价格（我们用 𝑦 表示）。其实这个小圆圈就是一个单独的神经元。接着这个网络实现了左边这个函数的功能。

在有关神经网络的文献中，经常看得到这个函数。从趋近于零开始，然后变成一条直线。这个函数被称作 ReLU 激活函数，它的全称是 Rectified Linear Unit 。 rectify （修正）可以理解成𝑚𝑎𝑥(0, 𝑥) ，这也是得到一个这种形状的函数的原因。

如果这是一个单神经元网络，不管规模大小，它正是通过把这些单个神经元叠加在一起

来形成。如果把这些神经元想象成单独的乐高积木，就能通过搭积木来完成一个更大的神

经网络。

二、神经网络监督的监督学习

对于更复杂的应用比如自动驾驶，假如有一张图片，可能会显示更多的 CNN 卷积神经网

络结构，其中的雷达信息是完全不同的，可能会有一个更定制的，或者一些更复杂的混合

的神经网络结构。所以为了更具体地说明什么是标准的 CNN 和 RNN 结构，在文献中会

见过左图这样的图片，这是一个标准的神经网络。而右图是一个卷积神经网络的例子。

递归神经网络 ( RNN ) 非常适合这种一维序列，数据可能是一个时间组成部分。机器学习对于结构化数据和非结构化数据的应用，结构化数据意味着数 据的基本数据库。例如在房价预测中，可能有一个数据库，有专门的几列数据告诉你卧室 的大小和数量，这就是结构化数据。或预测用户是否会点击广告，你可能会得到关于用户的信息，比如年龄以及关于广告的一些信息，然后对你的预测分类标注，这就是结构化数据，意思是每个特征，比如说房屋大小卧室数量，或者是一个用户的年龄，都有一个很好的定义。

  相反非结构化数据是指比如音频，原始音频或者你想要识别的图像或文本中的内容。这

里的特征可能是图像中的像素值或文本中的单个单词。

从历史经验上看，处理非结构化数据是很难的，与结构化数据比较，让计算机理解非结

构化数据很难，而人类进化得非常善于理解音频信号和图像，文本是一个更近代的发明，但

是人们真的很擅长解读非结构化数据。

所以可以这么说，在深度学习萌芽的初期，数据的规模以及计算量，局限在我们对于训练一个特别大的神经网络的能力，无论是在 CPU 还是 GPU 上面，那都使得我们取得了巨大

的进步。但是渐渐地，尤其是在最近这几年，我们也见证了算法方面的极大创新。许多算法

方面的创新，一直是在尝试着使得神经网络运行的更快。

神经网络方面的一个巨大突破是从 sigmoid 函数转换到一个 ReLU 函数。

可以知道的一个使用 sigmoid 函 数和机器学习问题是，在这个区域，也就是这个 sigmoid 函数的梯度会接近零，所以学习的 速度会变得非常缓慢，因为当你实现梯度下降以及梯度接近零的时候，参数会更新的很慢，所以学习的速率也会变的很慢，而通过改变这个被叫做激活函数的东西，神经网络换用这一 个函数，叫做 ReLU 的函数（修正线性单元）， ReLU 它的梯度对于所有输入的负值都是零，因此梯度更加不会趋向逐渐减少到零。而这里的梯度，这条线的斜率在这左边是零，仅仅通 过将 Sigmod 函数转换成 ReLU 函数，便能够使得一个叫做梯度下降（ gradient descent ）的算 法运行的更快，这就是一个或许相对比较简单的算法创新的例子。但是根本上算法创新所带 来的影响，实际上是对计算带来的优化，所以有很多像这样的例子，我们通过改变算法，使 得代码运行的更快，这也使得我们能够训练规模更大的神经网络，或者是多端口的网络。