机器学习梯度下降与拟牛顿

Posted 徐卜灵

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了机器学习梯度下降与拟牛顿相关的知识,希望对你有一定的参考价值。

这节课的推导真心hold不住了。按照自己的理解记下仅看明白的东西吧。或许还有第二遍、第三遍整理呢。

主要讲了两个问题:

学习率α如何确定?

  使用固定的学习率还是变化的学习率?

  学习率设置为多大比较好?

下降的方向如何处理,除了梯度方向,有没有其他方向?

  可行方向和梯度方向有何关系?

先上结论:

使用固定的学习率还是变化的学习率?

使用变化的学习率好。学习率的确定可以这样:在参数迭代的开始阶段,由于与最优值差距较大,可以使用较大的学习率;在迭代后期,使用较小的学习率增加稳定性和精度。

学习率设置为多大比较好?

构造一个关于α的函数,然后用二分线性搜索或回溯搜索来求得当前最优的学习率α。注意:当前最优。

那如何构造学习率α?

推导...

可行方向和梯度方向有何关系?

就是拟牛顿方向,我的理解是,梯度是线性的,牛顿是非线性的。梯度线性下降或者牛顿非线性下降。

********************************************分割线**********************************************

 

以上是关于机器学习梯度下降与拟牛顿的主要内容,如果未能解决你的问题,请参考以下文章

牛顿法与拟牛顿法的区别与联系

最优化方法与机器学习工具集

最优化方法与机器学习工具集

常见的几种最优化方法(梯度下降法牛顿法拟牛顿法共轭梯度法等)

机器学习之求解无约束最优化问题方法(手推公式版)

机器学习之求解无约束最优化问题方法(手推公式版)