svm的为啥要 转化为对偶问题求解

Posted 2023-05-13

主要是降低问题的复杂度，设想f(x,y)有两个变量，拉个朗日函数L=f(x,y)-p*h(x,y)有三个变量，你求偏导数要之后，要求解一个三元（可能是高次）方程，问题比较复杂，转化为对偶问题后，你只需要求解一个二元方程，和一个一元方程，使复杂问题简单化。
svm的目标函数是求解一个凸优化问题，在凸优化中，kkt点，局部极小点，全局极小点三者等价 参考技术A SVM叫做支持向量机( Support Vector Machines)是由Vanpik领导的ATTBell实验室研究小组 在1963年提出的一种新的非常有潜力的分类技术, SVM是一种基于统计学习理论的模式识别方法，主要应用于模式识别领域.由于当时这些研究尚不十分完善,在解决模

机器学习解释对偶的概念及SVM中的对偶算法？(面试回答)

对偶的概念？

（1）概念
对偶一般来说是以一对一的方式，常常通过某个对合算子，把一种概念、公理或数学结构转化为另一种概念、公理或数学结构：如果A的对偶是B，那么B的对偶是A。在强对偶性成立的情况下由对偶问题可以得到主问题的最优下界，对偶问题是凸优化问题，可以进行较好的求解。

（2）SVM中的对偶算法
原始最大间隔最优化问题，先转为拉格朗日函数问题，再将拉格朗日函数转为求其对偶问题，即将朗格朗日优化问题中的 min(max) 求解顺序对调，变为max(min)。

原朗格朗日最优化目标函数
$$min(max(L(x,\alpha ,\beta )))$$
对偶最优化目标函数
$$max(min(L(x,\alpha ,\beta )))$$

原始问题外层的优化目标参数直接是 x ，无法直接去优化得到这个参数，因为还存在着其他未知的拉格朗日参数。所以，对偶问题外层的优化目标参数是拉格朗日参数，然后通过求得的拉格朗日参数，间接得到最终要求的超平面的参数 x 。这样就可以通过求解对偶问题得到原始问题的最优解。