机器学习系列(21)_SVM碎碎念part4：无约束最小化问题

Posted 2022-12-14 寒小阳

原文地址：SVM - Understanding the math - Unconstrained minimization by Alexandre KOWALCZYK
感谢参与翻译同学：@田苗苗 && @樊睿 && @jozee
时间：2018年1月。
出处：http://blog.csdn.net/han_xiaoyang/article/details/70214565
声明：版权所有，转载请联系寒小阳 ([e-mail])并注明出

1.引言

这是SVM系列教程第4部分。接下来我们学习如何求解无约束极小值问题。如果你之前没有读过之前的文章，建议从《SVM碎碎念1》开始学习。

2.本部分内容

这部分内容涉及面很广，需要很多的预备知识。所以我花了很多时间来规划学习路线，决定哪些知识应该解释，而哪些知识可以略过。由于最终的内容过于庞大不便于阅读，我便把它拆分成3个部分，分别为Part4，Part5，Part6！

在Part4的中，我尽可能的把内容讲得简洁明了。这里假设大家已经具备了导数和偏导数的相关知识。同时，也希望你们具备了矩阵变换，计算矩阵行列式的相关知识。

在过去的几个月里，我收到了很多意见和鼓励。这篇文章的发布之时，已经有好几百人订阅了这个系列的文章。谢谢你们所有人，希望你们读的开心！

3.从哪里着手

在第3部分中，我们知道最大化间隔就是最小化w的模。

这意味着我们需要解决以下最优化问题：

$$最小化 (w,b) \\\\ \\left\\|\\mathbf w\\right \\| \\\\ 约束条件为 \\ y_i(\\mathbf w \\cdot \\mathbf x_i+b) \\geq1 \\\\ ( 约束条件对任意的 i = 1,…,n 都成立)$$

首先需要注意的是该最优化问题带有约束条件。它们是由“约束条件为”开头的行来定义的。这里并不是你所想的，只有一个约束条件，而是有$n$个约束条件。（因为最后一行表示任意$i$=1,…,$n$，约束条件都成立）

“那么，如何求解这类问题？自第3部分之后大家就一直在等解决方案！！！”

在处理如此复杂的问题之前，让我们先从一个稍微简单的问题入手。我们先来看看如何求解无约束最优化问题，准确的来说，是求解无约束最小化问题。问题的关键在于找到使得函数返回最小值的输入值。(注意：在SVM问题中，就是求$\\mathbf w$二范数的极小值，把$\\mathbf w$二范数叫做 $f$，记作$f(\\mathbf w)=\\left \\|\\mathbf w\\right \\|$)。

4.无约束最小化问题

首先定义一个变量$\\mathbf x^*$(读作“x 星”，添加一个星号以便知道我们讨论的是一个特定的变量，便于跟$\\mathbf x$区分开)。

我们如何知道 $\\mathbf x^*$ 是否是函数$f$ 的一个局部极小值点？很简单，我们只需要应用以下的定理：

定理:

令$f$ ：$f：\\Omega \\rightarrow \\Bbb R$ 在$\\mathbf x^*$ 处二次连续可微。

如果$\\mathbf x^*$ 满足 $\\nabla f(\\mathbf x^*)=\\mathbf 0$ 以及 $\\nabla^2 f(\\mathbf x^*)=\\mathbf 0$ 是正定的，那么$\\mathbf x^*$ 就是一个局部极小值点。

(定理证明 ，第11页)

尽管上面的定理非常简洁，但是如果没有相关的背景知识，那么理解上面的定理几乎是不可能的。比如，$\\nabla f(\\mathbf x^*)=\\mathbf 0$ 是什么？ $\\nabla^2 f(\\mathbf x^*)=\\mathbf 0$ 是什么？正定又是什么？

那我们就给出更多信息的定义详细说明：

定理(更详细):

如果 $\\mathbf x^*$ 满足以下条件:

1. $f$ 在$\\mathbf x^*$ 处梯度为0:
   

   $$\\nabla f(\\mathbf x^*)=\\mathbf 0$$
   以及

2. $f$ 在$\\mathbf x^*$ 处的Hessian(海森矩阵)是正定的:
   

   $$(\\mathbf z^T)((\\nabla^2 f(\\mathbf x^*)) \\mathbf z>\\mathbf 0,\\forall \\mathbf z \\in \\Bbb R^n$$
   此处
   ∇2f(x)=⎛⎝⎜⎜⎜⎜⎜⎜机器学习系列(23)_SVM碎碎念part6：对偶和拉格朗日乘子

   机器学习碎碎念：霍夫丁不等式

   CAP碎碎念

   项目管理碎碎念系列之一：干系人管理

   Device Tree碎碎念

   有关于二进制漏洞和利用的碎碎念