机器学习基石第一讲：PLA

Posted 2022-12-02 氵冫丶

机器学习的模型

简单的描述：根据训练数据集$D$训练一个模型$g$，使得这个假设模型$g$和原始数据的模型$f$尽可能接近

Perceptron Learning Algorithm

PLA，感知机学习算法

对于二分类：
数据集：$X = \\left \\ x_1,x_2,...,_n\\right \\$
类别：$Y = \\left \\ +1 ,-1\\right \\$
模型的原理：寻找一个超平面把两类数据点完全正确分开。
决策超平面：$h(x) = w^Tx+b$
其中$w$叫做权值向量，$b$叫做偏置
在课件中，在第一维增加为1的变量，$x_i =(1,x_i^T)^T$
这样决策平面可以写为：$h(x) = w^Tx$
最终分类函数：$g(x) = sign(h(x))$

其中：

如何在假设空间中，找到合适的$g$?

对决策错误的数据点进行修正的方式，更新权值向量$w$

为什么这样更新？
假设根据现在的超平面出现了错误的点$(x_n,y_n)$
对于+1 类：
当分类错误，说明$w^Tx$的值小于0，需要增加，而$x$的值是不能改变的，所有需要增加$w$的值
+1类时候$y_n = +1$,上面更新$w$可以增加$w$
所以：$w_t+1^Tx_n \\geq w_t^Tx_n$
对于-1类：
分类错误，说明$w^Tx$的值大于0，需要降低，而$x$的值是不能改变的，所有需要降低$w$的值
-1类时候$y_n=-1$,上面更新$w$可以降低$w$
所以：$w_t+1^Tx_n \\leq w_t^Tx_n$