如何通过神经网络优化来做红烧肉｜ 智库科研路
Posted 山软智库
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了如何通过神经网络优化来做红烧肉｜ 智库科研路相关的知识，希望对你有一定的参考价值。
神经网络优化中的挑战
假如你在学习做红烧肉，第一次做时可能很咸，或者火太大烧焦了，没有办法吃；
第二次时，你有了经验，会少放一点盐，把火调小点，无奈还是有点焦，有点咸，很难吃；
第三次时，你根据以往的经验，会把盐再少放点，火再小点，炒出来勉强能吃了。
当你做了几年的红烧肉，在一次次不断重复的过程中，你的经验会越来越丰富，经过不断调节，成为一名资深的红烧肉厨师。
其实，上面的过程，就类似于一个神经网络的运作过程。而你每次做红烧肉减少的盐的数量，以及火调小的程度，就是在神经网络优化的过程中遇到的挑战。
那神经网络优化中的挑战有哪些呢？
01
病态
听名字就知道，所谓的病态就是神经网络生病了，网络根本无法学习训练数据，与神经网络能够非常好地学习训练数据（如过拟合）相反。
病态体现在随机梯度下降会“卡”在某些情况，此时即使很小的更新步长也会增加函数代价。就好比在月球上，你明明距离目的地很近，可是当你轻轻向前跳一步却飞出了老远，与自己的初衷大相径庭。
病态是数值优化、凸优化或其他形式的优化中普遍存在的问题。这其中最突出的是在优化凸函数时Hessian矩阵H的病态。
我们可以通过二阶导数预期一个梯度下降的表现。我们做函数的近似二阶泰勒级数：
代入学习率
以上是关于如何通过神经网络优化来做红烧肉｜ 智库科研路的主要内容，如果未能解决你的问题，请参考以下文章
找大神求助，我想用遗传算法优化神经网，程序如下，但出现了后面的问题：
[人工智能-深度学习-47]：卷积神经网CNN+循环神经网络RNN与组合电路+时序电路的比较