吴恩达《机器学习》课程总结神经网络的学习

Posted ys99

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了吴恩达《机器学习》课程总结神经网络的学习相关的知识,希望对你有一定的参考价值。

9.1代价函数

(1)假设神经网络的训练样本有m个,每一个包含一组输入x和一组输出信号y,L表示神经网络的层数,Sl表示每一层的神经元个数,SL代表最后一层中处理单元的个数。

则代价函数为(同样不对θ0正则化):

技术分享图片

9.2反向传播算法

前向传播算法:

技术分享图片

用δ表示误差,则δ(4)=a(4)-y

前一层的误差为:

技术分享图片

技术分享图片

再前一层的误差为:

技术分享图片

输入层不存在误差。

每一层有了误差之后,即可分别进行求偏导,然后更新θ。

技术分享图片

9.3反向传播算法的直观理解

9.4实现注意:展开参数

9.5梯度检验

用某点领域的两个点的连线的斜率作为该点的估算值,然后用该值与神经网络计算出来的值作比较。

技术分享图片

9.6随机初始化

参数的初始化应该随机的,如果是相同的值的话,第二层的所有激活单元都会有相同的值,后面也类似。

9.7综合起来

使用神经网络时的步骤:

(1)网络结构:第一件要做的事是选择网络结构,即决定选择多少层以及决定每层分别有多少单元。

第一层的单元数即为我们训练集的特征数量。

最后一层的单元数是我们训练集的结果的类的数量。

(2)训练神经网络:

1.参数的随机初始化;

2.利用正向传播方法计算所有的hθ(x);

3.编写计算代价函数J的代码;

4.利用反向传播方法计算所有的偏导数;

5.利用数值检验方法检验这些偏导数;

6.使用优化算法来最小化代价函数。

9.8自动驾驶

略。

 


以上是关于吴恩达《机器学习》课程总结神经网络的学习的主要内容,如果未能解决你的问题,请参考以下文章

吴恩达《机器学习》课程总结(19)_总结

吴恩达《机器学习》课程总结神经网络的学习

机器学习- 吴恩达Andrew Ng Week5 神经网络学习Neural Networks Learning知识总结

机器学习- 吴恩达Andrew Ng Week4 神经网络Neural Networks知识总结

吴恩达《机器学习》课程总结(13)聚类

吴恩达《机器学习》课程总结(13)_聚类