机器学习100天（四十）：040 线性支持向量机-公式推导

Posted 2023-03-09 红色石头Will

《机器学习100天》完整目录：目录

机器学习 100 天，今天讲的是：线性支持向量机-公式推导！

首先来看这样一个问题，在二维平面上需要找到一条直线划分正类和负类。

我们找到了 A、B、C 三条直线。这三条直线都能正确分类所有训练样本。但是，哪条直线最好呢？直观上来看，我们会选择 C这条直线，因为这条直线不仅分类正确，而且距离正负类样本的距离都很远。这样的好处是增加了该分类线的容错能力和健壮性。因为若要保证对未知的测试数据也能进行正确分类，最好让分类直线距离正类负类的点都有一定的距离。这样能让每个样本点附近的圆形区域是“安全”的。圆形区域越大，表示分类直线对测量数据误差的容忍性越高，越“安全”。

因此， 距离分类线最近的点与分类线的距离越大，表明该分类模型越好。这就是支持向量机算法的核心思想。

首先，我们定义距离分类线最近的点与分类线的距离叫做最大间距，用 margin 表示。

我们的目标就是最大化 margin。必须满足的条件是：必须让每个训练样本都分类正确。即满足不等式：