改善深层神经网络：超参数调试正则化及优化

Posted 2020-10-06 crazybird123

第一周   深度学习的实用层面

1.1 训练、验证、测试集

应用机器学习是个高度迭代的过程：想法--->编码--->实验

（1）神经网络的层数

（2）隐含层神经元个数

（3）学习率

（4）激励函数

 

小规模数据：训练集70%，验证集30%   或者 训练60% 验证20% 测试20%

大规模数据：训练90%以上

注：可以没有测试集，验证集用于检测各种算法模型，选出最好的，验证集和测试集必须来源于同一分布

 

1.2 偏差、方差

人眼识别错误率（最优误差，贝叶斯误差）0%左右，训练集验证集来源于同一分布的前提下：

（1）训练集错误率1%，验证集错误率11%   -----> 高方差（high variance）

（2）训练集错误率15%，验证集错误率16% ----->高偏差（high bias）

（3）训练集错误率15%，验证集错误率30% ------>高方差，高偏差

（4）训练集错误率0.5%，验证集错误率1% ------->低偏差，低方差

 

1.3 机器学习基础