机器学习解释对偶的概念及SVM中的对偶算法？(面试回答)

Posted 2022-08-18 Better Bench

对偶的概念？

（1）概念
对偶一般来说是以一对一的方式，常常通过某个对合算子，把一种概念、公理或数学结构转化为另一种概念、公理或数学结构：如果A的对偶是B，那么B的对偶是A。在强对偶性成立的情况下由对偶问题可以得到主问题的最优下界，对偶问题是凸优化问题，可以进行较好的求解。

（2）SVM中的对偶算法
原始最大间隔最优化问题，先转为拉格朗日函数问题，再将拉格朗日函数转为求其对偶问题，即将朗格朗日优化问题中的 min(max) 求解顺序对调，变为max(min)。

原朗格朗日最优化目标函数
$$min(max(L(x,\alpha ,\beta )))$$
对偶最优化目标函数
$$max(min(L(x,\alpha ,\beta )))$$

原始问题外层的优化目标参数直接是 x ，无法直接去优化得到这个参数，因为还存在着其他未知的拉格朗日参数。所以，对偶问题外层的优化目标参数是拉格朗日参数，然后通过求得的拉格朗日参数，间接得到最终要求的超平面的参数 x 。这样就可以通过求解对偶问题得到原始问题的最优解。