牛顿法|阻尼牛顿法|拟牛顿法|DFP算法|BFGS算法|L-BFGS算法
Posted Key_Ky
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了牛顿法|阻尼牛顿法|拟牛顿法|DFP算法|BFGS算法|L-BFGS算法相关的知识，希望对你有一定的参考价值。
一直记不住这些算法的推导，所以打算详细点写到博客中以后不记得就翻阅自己的笔记。
泰勒展开式
最初的泰勒展开式，若 
在包含 
的某开区间（a，b）内具有直到n+1阶的导数，则当x∈（a，b）时，有：
令
可得到如下式子：
泰勒展开式，我的理解就有两个式子。上述的是当x是标量时的展开式，当x是多元时可以根据以下公式进行推导：
舍去二阶项以上的项可以得到：
参考文献：
1. http://baike.baidu.com/link?url=E-D1MzRCjDi8qrlh2Cn64fwtz703bg-h_z2_mOXorti2_3aBKrOUY4-2gHuESowiK8aQSBFE8y0yJeGl4_yOAq
2. http://wenku.baidu.com/link?url=_9LBpJL0trtgpfUZUMzJL0toMfFxwot1J2JNsndNhcdumWhKwomLSP-vEXJ94TTrcBR2yYir8N7tr2sOK8Lqv0oP9TpETdMofKPwd6u-4Ue
牛顿法
太晚，明天有空继续，贴个参考文献：http://blog.csdn.net/itplus/article/details/21896453
以上是关于牛顿法|阻尼牛顿法|拟牛顿法|DFP算法|BFGS算法|L-BFGS算法的主要内容，如果未能解决你的问题，请参考以下文章