拉格朗日对偶

Posted 2022-01-18 牧马人夏峥

        说下自己的理解。

        使用对偶是为了更容易求解，使min max f(w,a,b)(设为p*)转化为 max min f(w,a,b)(设为d*)

        d*<=p*。当等号成立时，最优解相同。

        若等号成立，则f(w,a,b)必为马鞍面，既凸又凹。

        满足KKT条件等号可成立。当约束g=0时，a>0，这样的点才是支持向量。

        先将a固定，分别对w,b求导，得到关于a的式子，带入原目标函数（含a）。剩下的由SMO算法求解。

        w^Tx+b 以前新来的样本首先根据w和b做一次线性运算，然后看求的结果是大于0还是小于0，来判断是正例还是负例。现在利用a，只需要

  将原来的样本和训练数据中的所有样本做内积即可。由于只有支持向量的a才不等于0，所以只需求新来的样本和支持向量的内积，然后运算。