机器学习2：基础篇之最优化问题及KKT条件

Posted 2021-04-03 我走过的地方越来越多

来都来了，不关注下吗？？

   

今天我在这里给大家介绍一下最优化理论以及KKT条件，这个基础知识非常重要，在机器学习的路上必不可少，比如之后我们要学习的支持向量机（Support Vector Machine）等算法中就用到了KKT条件（Karush–Kuhn–Tucker conditions）。下面一起来看下吧！

最优化问题）

说到最优化问题，优化条件分为两种：一种是等式条件下求最优解，一种是不等式条件下求最优解。由于有了约束无法直接求导，那么这个时候就要引入拉格朗日乘子，用拉格朗日乘数法来求解。

等式条件下求最优解

  求解最优解的通用思路是：先构建一个拉格朗日函数，然后通过求导解出最优解。

    具体来说：

不等式条件下的最优解

    具体来说：

（注：为什么取可以通过几何性质来解释，有兴趣的同学可以查下）

总结：等式+不等式

    总结前两种情况，具体来说：

    最后，我想强调的是，KKT是最优解的必要条件，也就是说，满足KKT条件的不一定是最优解，但是最优解一定得满足KKT条件。 

                                 你会了吗？？

记得关注喵！~~