CS231n 卷积神经网络与计算机视觉 7 神经网络训练技巧汇总 梯度检验 参数更新 超参数优化 模型融合 等
Posted bea_tree
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了CS231n 卷积神经网络与计算机视觉 7 神经网络训练技巧汇总 梯度检验 参数更新 超参数优化 模型融合 等相关的知识，希望对你有一定的参考价值。
前面几章已经介绍了神经网络的结构、数据初始化、激活函数、损失函数等问题，现在我们该讨论如何让神经网络模型进行学习了。
1 梯度检验
权重的更新梯度是否正确决定着函数是否想着正确的方向迭代，在UFLDL中我们提到过，计算时梯度公式如果计算错误是不容被察觉的，我们需要比较分析法得到梯度与数值法得到的梯度是否相似，下面是一些技巧：
1.1 centered formula
高等数学中我们知道导数的近似公式：
df(x)dx=f(x+h)−f(x)h
以上是关于CS231n 卷积神经网络与计算机视觉 7 神经网络训练技巧汇总 梯度检验 参数更新 超参数优化 模型融合 等的主要内容，如果未能解决你的问题，请参考以下文章
cs231n 卷积神经网络与计算机视觉 5 神经网络基本结构 激活函数总结
CS231n 卷积神经网络与计算机视觉 6 数据预处理 权重初始化 规则化 损失函数 等常用方法总结
全球名校课程作业分享系列--斯坦福计算机视觉与深度学习CS231n之基于cifar10的卷积神经网络实践
斯坦福CS231n—深度学习与计算机视觉----学习笔记 课时26&&27