机器学习笔记二 感知机

Posted 2021-05-16 猛男Banana君

感知机模型

定义：感知机是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。

目的：求出将训练数据线性划分的分离超平面。

从输入空间到输出空间有两个函数：

上面两个函数就是一次函数和一个符号函数，没有多复杂。

感知机学习策略

在假设空间中选取使损失函数式最小的模型参数ω，b。

损失函数：

感知机学习算法

定义：是基于随机梯度下降法的对损失函数的最优化算法，分为原始形式&对偶形式。

当训练数据线性可分时，感知机算法是收敛的，存在无穷多个解，其解由于不同的初值或迭代顺序而可能不同。