最优化知识笔记整理汇总

Posted 2021-06-24 炫云云

最优化知识笔记整理汇总，超级棒

1. 优化理论01----凸集、保持凸性的运算、线性锥不等式组、分离超平面和支撑超平面、超平面和半空间、欧几里得球、多面体、单纯形
2. 优化理论02----凸函数、共轭函数、拟凸函数、对数凹/对数凸函数、关于广义不等关系的凸性
3. 优化理论03----优化导论和无约束问题的最优条件、优化问题的类型、局部、全局和严格优化、梯度和Hessian 黑塞矩阵和方向导数、无约束问题的最优条件
4. 优化理论04---- 牛顿法、牛顿法求根、收敛速度、二次收敛性、修正牛顿法
5. 优化理论05----最速下降法、最速下降法思想、python实现
6. 优化理论06-----共轭梯度法、线性共轭方向法、HS、FR-CG、PR-CG、PR±CG
7. 优化理论07-----拟牛顿法、拟牛顿方程、对称秩二更新公式、BFGS、DFS、Broyden族、Huang’s Family
8. 优化理论08-----约束优化的最优性条件、拉格朗日条件、凸性、约束规范、二阶最优性条件
9. 优化理论09-----线性等式约束问题的投影方法、投影最速下降算法、解决方向查找问题(DFP)、牛顿法的修正在线性等式约束、变度量法
10. 优化理论10----约束优化的罚函数法、外点法(Penalty method）、内点法（Barrier Methods）、混合惩罚函数法
11. 优化理论11---- Zoutendijk可行方向法、非线性约束情形、ε起作用约束可行方向法、Frank-Wolfe 方法
12. 优化理论12---- Rosen的梯度投影法 、投影矩阵、 既约梯度法
13. 优化理论13----黄金分割法、单峰函数、python实现及验证
14. 优化理论14----二分法、二分法与黄金分割法比较、python实现
15. 优化理论15----进退法、python实现
16. 优化理论16----Armijo-Goldstein准则、 Armijo-Goldstein搜索方法、python实现
17. 优化理论17----wolfe_Powell准则、Wo1fe-Powell搜索法
18. 优化理论18----Fritz John条件
19. 优化理论19----DNRTR无约束优化的对角拟牛顿修正方法
20. 优化理论20—插值法、Lagrange插值法、插值多项式、插值余项、Newton插值、差商、差分、Hermite插值法、龙格现象、分段插值、样条插值