回归|深度学习(李宏毅)

Posted ccqun

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了回归|深度学习(李宏毅)相关的知识,希望对你有一定的参考价值。

一、偏差和方差

  • 欠拟合的loss主要来自偏差

  • 过拟合的loss主要来自方差

  • 应对大的偏差的方法:

    1. 增加更多特征作为输入
    2. 使用更复杂的模型
  • 应对大的方差的方法:

    1. 更多数据
    2. 正则化
  • k折交叉验证

二、梯度下降

  • Adagrad

二次微分大的点梯度虽然大但是可能会比梯度小的点离极值点更近,因此学习率需要考虑二次微分的影响,除以所有梯度的均方根是为了近似表示二次微分。

技术图片

  • RMSProp

类比Adagrad的一种优化方法,与Adagrad不同的是学习率所除的分母。Adagrad学习率所除的分母会无限累加,导致后期参数更新幅度很小,RMSProp避免了这个问题。然而RMSProp无法解决卡在鞍点的问题。

技术图片

  • SGD(随机梯度下降)

  • SGDM

为梯度下降加入一个冲量,每次迭代移动的方向为梯度的反方向向量加上上次移动的方向向量,向量前面可能会有系数。

技术图片

  • Adam

结合RMSProp和SGDM两种算法优点的一种优化算法。m和v需要除上1-β是为了前期的纠偏。分母加上一个ε是为了防止分母下溢到0导致学习率是未定义的。

技术图片

  • Adam vs SGDM

Adam:训练速度快但是泛化误差大、不稳定。
SGDM:稳定、泛化误差小、更好的收敛性。

技术图片

  • 改善Adam

???(1). AMSGrad

技术图片

???(2). AdaBound

技术图片

  • 改善SGD

???(1). Cyclical LR

技术图片

???(2). SGDR

技术图片

???(3). One-cycle LR

技术图片

  • 特征缩放

技术图片

  • 泰勒级数解释梯度下降

将loss函数在当前θ处进行泰勒展开,当参数位于当前θ处附近时,泰勒级数的二阶及以上的项可以忽略不计,由此可以解释当将参数沿梯度反方向调整的时候可以使得loss减小。注意一定保证学习率足够小,否则泰勒展开的高阶项是不可以忽略的。

公众号同步更新


技术图片



以上是关于回归|深度学习(李宏毅)的主要内容,如果未能解决你的问题,请参考以下文章

《深度学习》李宏毅 -- task7总结

深度学习 -- 1天搞懂深度学习,李宏毅,lecture 2

《深度学习》 --李宏毅学习笔记总结 (待更新)

深度学习李宏毅《机器学习》学习笔记

一天搞懂深度学习--李宏毅教程分享

李宏毅《深度学习》P1----机器学习介绍