机器学习笔记：牛顿方法
Posted UQI-LIUWJ
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了机器学习笔记：牛顿方法相关的知识，希望对你有一定的参考价值。
1 牛顿法介绍
牛顿法是一种二阶优化技术，它将目标函数建模为二次函数。
我们知道，在梯度下降中，我们是把函数近似为一次函数。在牛顿法中，我们将其近似为二次函数：
让上式的微分为0，我们有：
如果函数本身就是二次函数的话，牛顿法一步即可 收敛；不是的话牛顿法的收敛速度也比一阶近似的梯度下降要快。
2 牛顿法的问题
以上是关于机器学习笔记：牛顿方法的主要内容，如果未能解决你的问题，请参考以下文章
V-rep学习笔记：机器人逆运动学数值解法（Damped Least Squares / Levenberg-Marquardt Method）