机器学习笔记——感知机

Posted 2022-12-05 Lyndon_zheng

Perceptron（感知机）

感知机是二分类的线性分类器,属于判别模型。由Rosenblatt在1957年提出，是神经网络和支持向量机（SVM）的基础。感知机本身相当于神经网络中的一个神经元，只能进行简单的线性分类。感知机的学习目标是通过训练数据得到线性划分的超平面。为此，引入基于分类误差的损失函数，利用梯度下降法对损失函数进行极小化，来求解感知机模型。

1.感知机模型

---

定义：假设输入空间（特征空间）是$\\chi\\subseteq R^n$,输出空间是$Y=\\+1,-1\\$.输入$x\\in\\chi$是样本的特征向量，对应的输出$y\\in Y$是样本的类别。输入空间到输出空间的映射模型为：

$$f(x)=sign(\\bf w\\cdot x+b)$$
其中 $\\bf x$是输入样本的特征向量， $\\bf w,b$是感知机的模型参数， $\\bf w$是权值， $b$是偏置，都需要通过学习得到。$\\bf w\\cdot x$是 $\\bf w$和 $\\bf x$的内积。

2.感知机学习策略

---

线性可分定义：给定一个数据集

$$T=\\(x_1,y_1),(x_2,y_2),\\ldots,(x_N,y_N)\\$$
其中 $x_i$是样本特征向量， $y_i$是样本对应类别，如果存在某个超平面 $\\bf S:\\bf w\\cdot x+b=0$能够将数据集的正样本和负样本全部正确地划分到超平面的两侧，则样本 $T$是线性可分数据集。
假设数据集是线性可分的，感知机的目标就是求得一个能够将所有样本正确分类的超平面，即学习出前面感知机模型的参数$\\bf w，b$。为了得到最佳参数，我们需要确定一个学习策略，即定义一个合适的损失函数，并求得 $\\bf w，b$使损失函数最小。在感知机模型中，一般定义误分类点 $x_i$到超平面的距离为损失函数。首先，定义点到超平面的距离：
$$\\frac1\\| \\bf w\\| |\\bf w\\cdot x_i+b|$$
对于误分类数据 $(x_i,y_i)$有：
$$-y_i(\\bf w\\cdot x_i+b)>0$$
即预测类别 $（\\bf w\\cdot x_i+b)$和实际类别 $y_i$总是相反，因此可以定义误分类点 $(x_i,y_i)$到超平面的距离为：
$$-\\frac1\\| \\bf w\\| y_i|\\bf w\\cdot x_i+b|$$
如果有M个误分类点，那么所有误分类点到超平面的总距离为：
$$-\\frac1\\| \\bf w\\| \\sum_(x_i,y_i)\\in My_i|\\bf w\\cdot x_i+b|$$
不考虑前面系数，则对于任意给定的训练数据集
T=(x1,y统计学习方法（第2章）感知机 学习笔记

2-5 感知机 - 对偶形式 - 学习模型的推导

[笔记-统计学习方法]感知机 perceptron

感知机 - 对偶形式

机器学习笔记——感知机

机器学习基础从感知机到支持向量机&支持向量机的多分类方法