神经网络与深度学习相关笔记

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了神经网络与深度学习相关笔记相关的知识,希望对你有一定的参考价值。

说明:

本文是关于http://neuralnetworksanddeeplearning.com/的相关笔记

 

问题一:神经元在错误的值上饱和导致学习速率的下降

解决:

1.输出层:

因使用二次代价函数时,学习在神经元犯了明显错误时却比学习快接近真实值时慢,

可以使用交叉熵代价函数

使得在神经元犯明显错误时学习得更快

注:

输出层:具有交叉熵代价的S型(sigmoid)输出层或具有对数似然代价的柔性最大值(softmax)输出层

后者更加适用于那些需要将输出激活值解释为概率的场景

2.隐藏层:

改进的权重初始化

 

问题二:过拟合

解决:

1.L1或L2规范化/权重衰减

在代价函数上增加一个规范化项

2.弃权dropout

3.人为扩展训练数据

 

问题三:梯度消失

网络越深问题越严重

解决:

1.激励函数的选择

 

以上是关于神经网络与深度学习相关笔记的主要内容,如果未能解决你的问题,请参考以下文章

「深度学习一遍过」必修26:机器学习与深度学习基础知识汇总

「深度学习一遍过」必修26:机器学习与深度学习基础知识汇总

「深度学习一遍过」必修26:机器学习与深度学习基础知识汇总

神经网络与深度学习笔记偏差与方差

深度学习之一:神经网络与深度学习

深度学习笔记总结(待更新)