改善深层神经网络:超参数调试正则化及优化

Posted crazybird123

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了改善深层神经网络:超参数调试正则化及优化相关的知识,希望对你有一定的参考价值。

第一周   深度学习的实用层面

1.1 训练、验证、测试集

应用机器学习是个高度迭代的过程:想法--->编码--->实验

(1)神经网络的层数

(2)隐含层神经元个数

(3)学习率

(4)激励函数

 

小规模数据:训练集70%,验证集30%   或者 训练60% 验证20% 测试20%

大规模数据:训练90%以上

注:可以没有测试集,验证集用于检测各种算法模型,选出最好的,验证集和测试集必须来源于同一分布

 

1.2 偏差、方差

人眼识别错误率(最优误差,贝叶斯误差)0%左右,训练集验证集来源于同一分布的前提下:

(1)训练集错误率1%,验证集错误率11%   -----> 高方差(high variance)

(2)训练集错误率15%,验证集错误率16% ----->高偏差(high bias)

(3)训练集错误率15%,验证集错误率30% ------>高方差,高偏差

(4)训练集错误率0.5%,验证集错误率1% ------->低偏差,低方差

 

1.3 机器学习基础

以上是关于改善深层神经网络:超参数调试正则化及优化的主要内容,如果未能解决你的问题,请参考以下文章

第九节,改善深层神经网络:超参数调试正则化以优化(下)

第十八节,TensorFlow中使用批量归一化

深度学习 吴恩达 Andrew Ng

改善深层神经网络-week1编程题(初始化正则化梯度校验)

超重量级深层神经网络与优化算法

deeplearning.ai 改善深层神经网络 week3 听课笔记