神经网络与深度学习相关笔记
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了神经网络与深度学习相关笔记相关的知识,希望对你有一定的参考价值。
说明:
本文是关于http://neuralnetworksanddeeplearning.com/的相关笔记
问题一:神经元在错误的值上饱和导致学习速率的下降
解决:
1.输出层:
因使用二次代价函数时,学习在神经元犯了明显错误时却比学习快接近真实值时慢,
可以使用交叉熵代价函数
使得在神经元犯明显错误时学习得更快
注:
输出层:具有交叉熵代价的S型(sigmoid)输出层或具有对数似然代价的柔性最大值(softmax)输出层
后者更加适用于那些需要将输出激活值解释为概率的场景
2.隐藏层:
改进的权重初始化
问题二:过拟合
解决:
1.L1或L2规范化/权重衰减
在代价函数上增加一个规范化项
2.弃权dropout
3.人为扩展训练数据
问题三:梯度消失
网络越深问题越严重
解决:
1.激励函数的选择
以上是关于神经网络与深度学习相关笔记的主要内容,如果未能解决你的问题,请参考以下文章