最优化学习 下降算法初步与线搜索方法

Posted Real&Love

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了最优化学习 下降算法初步与线搜索方法相关的知识,希望对你有一定的参考价值。

迭代下降算法

迭代的策略

  • 线搜索方法
  • 信赖域方法

在这里插入图片描述

线搜索基本思路

  • Step 0 给定 x 0 , k = 0 x_{0},k=0 x0,k=0
  • Step 1 是否满足终止条件
  • Step 2 确定下降方向 d k d_{k} dk
  • Step 3 选择合适的步长 α k \\alpha_{k} αk
  • Step 4 x k + 1 = x k + α k d k x^{k+1}=x^{k}+\\alpha_{k} d_{k} xk+1=xk+αkdk 更新,k = k + 1回到Step 1
    在这里插入图片描述

在这里插入图片描述

线搜索方法

在这里插入图片描述

均匀搜索法

在这里插入图片描述

黄金区间法(0.618法)

在这里插入图片描述

基于导数信息的二分法

在这里插入图片描述

非精确线搜索

在这里插入图片描述

后面会详细讲精确线搜索和非精确线搜索

以上是关于最优化学习 下降算法初步与线搜索方法的主要内容,如果未能解决你的问题,请参考以下文章

最优化方法--梯度下降

机器学习常见的优化算法

什么是梯度下降优化算法?

最优化学习 算法收敛性

机器学习最常用优化之一——梯度下降优化算法综述

梯度下降优化算法综述