吴恩达《机器学习》课程总结神经网络的学习
Posted ys99
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了吴恩达《机器学习》课程总结神经网络的学习相关的知识,希望对你有一定的参考价值。
9.1代价函数
(1)假设神经网络的训练样本有m个,每一个包含一组输入x和一组输出信号y,L表示神经网络的层数,Sl表示每一层的神经元个数,SL代表最后一层中处理单元的个数。
则代价函数为(同样不对θ0正则化):
9.2反向传播算法
前向传播算法:
用δ表示误差,则δ(4)=a(4)-y
前一层的误差为:
再前一层的误差为:
。
输入层不存在误差。
每一层有了误差之后,即可分别进行求偏导,然后更新θ。
9.3反向传播算法的直观理解
略
9.4实现注意:展开参数
略
9.5梯度检验
用某点领域的两个点的连线的斜率作为该点的估算值,然后用该值与神经网络计算出来的值作比较。
9.6随机初始化
参数的初始化应该随机的,如果是相同的值的话,第二层的所有激活单元都会有相同的值,后面也类似。
9.7综合起来
使用神经网络时的步骤:
(1)网络结构:第一件要做的事是选择网络结构,即决定选择多少层以及决定每层分别有多少单元。
第一层的单元数即为我们训练集的特征数量。
最后一层的单元数是我们训练集的结果的类的数量。
(2)训练神经网络:
1.参数的随机初始化;
2.利用正向传播方法计算所有的hθ(x);
3.编写计算代价函数J的代码;
4.利用反向传播方法计算所有的偏导数;
5.利用数值检验方法检验这些偏导数;
6.使用优化算法来最小化代价函数。
9.8自动驾驶
略。
以上是关于吴恩达《机器学习》课程总结神经网络的学习的主要内容,如果未能解决你的问题,请参考以下文章
机器学习- 吴恩达Andrew Ng Week5 神经网络学习Neural Networks Learning知识总结