吴恩达《深度学习》第一门课深度学习引言

Posted ys99

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了吴恩达《深度学习》第一门课深度学习引言相关的知识,希望对你有一定的参考价值。

1.1欢迎

主要讲了五门课的内容:

第一门课:神经网络基础,构建网络等;

第二门课:神经网络的训练技巧;

第三门课:构建机器学习系统的一些策略,下一步该怎么走(吴恩达老师新书《Machine Learning Yearning》就是针对这个以及上一课);

第四门课:卷积神经网络相关;

第五门课:循环神经网络相关。

1.2什么是神经网络

(1)常说的深度学习指的就是训练神经网络,或者也指特别大规模的神经网络。

(2)每一个神经元都代表着从输入到输出的函数映射,如下的房价预测:

技术分享图片

(3)激活函数Relu(Rectified Linear Unit)其实就是max(0,x)。

(4)神经网络非常擅长计算从x到y的精确映射函数(个人理解:神经网络实质就是非线性的多项式拟合),神经网络的输入单元个数一般是特征个数,中间称为隐藏层,然后输出单元个数依据实际情况而定,如下输出是房价的预测值,故是一个神经元。

技术分享图片

1.3神经网络的监督学习

(1)神经网络在监督学习上的应用:

技术分享图片

(2)数据包括结构化数据和非结构化数据,图像语言语音都是非结构化数据,是神经网络要研究解决的重点。

1.4为什么深度学习会兴起

(1)三点原因:数据规模大、计算速度提高、算法的创新。事实上如今提高性能最可靠的方法就是运用更大的神经网络和投入更多的数据。下图展示了数据量、模型大小与性能之间的关系:

技术分享图片

(2)算法创新的一个小案例:激活函数从sigmoid(存在梯度消失)变成ReLU,训练的速度变得更快了。

技术分享图片

(3)在实践应该按照下图方式进行快速迭代:

技术分享图片

1.5关于这么课

总共四周,分别是前言,预备知识,浅层神经网络和深层神经网络。

1.6课程资源

以上是关于吴恩达《深度学习》第一门课深度学习引言的主要内容,如果未能解决你的问题,请参考以下文章

吴恩达《深度学习》第一门课深层神经网络

吴恩达《深度学习》第一门课神经网络的编程基础

吴恩达《深度学习》第二门课深度学习的实用层面

吴恩达《深度学习》第三门课机器学习策略一

吴恩达深度学习网课

吴恩达《深度学习》第四门课卷积神经网络