2-4 梯度下降法的收敛证明

Posted 2022-03-12 windmissing

证明：经过有限次迭代，可以得到一个将线性可分的训练数据集完全正确划分的分离超平面及感知机模型

当训练数据集线性不可分时，算法不收敛

假设前提：

1. 所有训练数据点都线性可分的
2. 初值$(w_0,b_0)=\vec{0}$

证明前的一些定义

（1）令
$$\begin{gathered} \hat{w}=(w^T,b{)}^T向量一般默认为列向量 \\ \hat{x}=(x,1) \end{gathered}$$
则
$$\hat{w}\cdot \hat{x}=w\cdot x+b$$
（2）
所有训练数据点都线性可分
$\Rightarrow \exists$一个超平面，使得所有训练数据集都被正确划分
令这个超平面为
$${\hat{w}}_{opt}\cdot \hat{x}=0且||{\hat{w}}_{opt}||=1\text{\hspace{1em}(15)}$$
（3）令
$$\gamma =mi{n}_i{y}_i({\hat{w}}_{opt}\cdot {\hat{x}}_i)\text{\hspace{1em}(1)}$$
（4）令${\hat{w}}_k$$为更新了k次之后的$$\hat{w}$
（5）令
$$R=ma{x}_{1\le i\le n}||{\hat{x}}_i||\text{\hspace{1em}(10)}$$

证明过程

超平面${\hat{w}}_{opt}\cdot \hat{x}=0$将所有数据都完全正确的分开
$\Rightarrow \forall ({\hat{x}}_i,y_i)$，有$y_i$$与$${\hat{w}}_{opt}\cdot {\hat{x}}_i$符号相同，且两者都不为0
$\Rightarrow \forall ({\hat{x}}_i,y_i)$$，有$$y_i({\hat{w}}_{opt}\cdot {\hat{x}}_i)>0$
以上结论结合公式（1）得：
$$y_i({\hat{w}}_{opt}\cdot {\hat{x}}_i)\ge \gamma >0\text{\hspace{1em}(2)}$$

---

假设算法已经更新了k次，则至少有一个样本点在超平面${\hat{w}}_{k-1}\cdot \hat{x}=0$上分类错误
假设$(x_i,y_i)$就是这个分类错误的点，则
$$y_i({\hat{w}}_{k-1}\cdot {\hat{x}}_i)<0\text{\hspace{1em}(9)}$$
且：
w k = w k − 1 + η y i x i b k = b k − 1 + η y i