先进的优化

Posted 郑哲

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了先进的优化相关的知识,希望对你有一定的参考价值。

“共轭梯度”、“BFGS”、和“L-BFGS”更成熟,更快的方法来优化θ可以用来代替梯度下降。我们建议您不要自己编写这些更复杂的算法(除非您是数字计算方面的专家),而是使用库,因为它们已经经过测试并高度优化。octave提供它们。

我们首先需要一个函数来评价下面的两个函数为了输入θ:

 

我们可以编写一个返回这两个函数的函数:

 

然后我们可以用octave的“fminunc()”算法和“optimset()”功能,创建一个对象包含的选项,我们想把“fminunc()”。

 

我们给函数”fminunc()”我们的成本函数,我们的θ值的初始向量,和“选择”的对象,我们事先创建

以上是关于先进的优化的主要内容,如果未能解决你的问题,请参考以下文章

梯度下降优化算法综述

梯度下降优化算法综述

Cirium(睿思誉)与Amadeus达成协议,助力旅游业优化航班搜索和预订

机器学习最常用优化之一——梯度下降优化算法综述

深入理解jvm - 编译优化(下)

15倍提升 & 40倍存储优化,TDengine在领益智造的实践