机器学习强基计划1-1：图文详解感知机算法原理+Python实现

Posted 2022-08-09 Mr.Winter`

目录

• 0 写在前面
• 1 什么是线性模型？
• 2 感知机概述
• 3 手推感知机原理
• 4 Python实现
• • 4.1 创建感知机类
  • 4.2 更新权重与偏置
  • 4.3 判断误分类点
  • 4.4 训练感知机
  • 4.5 动图可视化
• 5 总结

0 写在前面

机器学习强基计划聚焦深度和广度，加深对机器学习模型的理解与应用。“深”在详细推导算法模型背后的数学原理；“广”在分析多个机器学习模型：决策树、支持向量机、贝叶斯与马尔科夫决策、强化学习等。

🚀详情：机器学习强基计划(附几十种经典模型源码合集)

---

本期目标：实现这样一个效果

1 什么是线性模型？

线性模型的假设形式是属性权重、偏置与属性的线性组合，即

$$f\left({\mathbf{x}}^{\left(i\right)}\right)={\mathbf{w}}^T{\mathbf{x}}^{\left(i\right)}+b$$

其中${\mathbf{x}}^{\left(i\right)}={\left[\begin{array}{cccc}{x}_1^{\left(i\right)}& x_2^{\left(i\right)}& \cdots & x_d^{\left(i\right)}\end{array}\right]}^T$是数据集$D$中的第$i$个样本，$x_j^{\left(i\right)}\left(j=1,2,\cdots ,d\right)$是该数据集样本的$d$个属性；$\mathbf{w}={\left[\begin{array}{cccc}{\mathbf{w}}_1& {\mathbf{w}}_2& \cdots & {\mathbf{w}}_d\end{array}\right]}^T$是样本属性的权重向量；$b$是模型偏置。

上式也可写为齐次形式

$$f\left({\mathbf{x}}^{\left(i\right)}\right)={\hat{\mathbf{w}}}^T\left[\begin{array}{c}{\mathbf{x}}^{\left(i\right)}\\ 1\end{array}\right]$$

其中系数向量$\hat{\mathbf{w}}=\left[\mathbf{w};b\right]$

进一步，考虑单调可微函数$g\left(\cdot \right)$，令

$$f\left({\mathbf{x}}^{\left(i\right)}\right)=g^{-1}\left({\mathbf{w}}^T{\mathbf{x}}^{\left(i\right)}+b\right)$$

称为广义线性模型(generalized linear model)，其中$g\left(\cdot \right)$称为联系函数(link function)。

广义线性模型本质上仍是线性的，但通过$g\left(\cdot \right)$进行非线性映射，使之具有更强的拟合能力，类似神经元的激活函数。例如对数线性回归(log-linear regression)是$g\left(\cdot \right)=\ln \left(\cdot \right)$时的情形，此时模型拥有了指数逼近的性质。

线性模型的优点是形式简单、易于建模、可解释性强，是更复杂非线性模型的基础。

2 感知机概述

感知机(Perceptron)是最简单的二分类线性模型，也是神经网络的起源算法，如图所示。

$y={\hat{\mathbf{w}}}^{\mathbf{T}}\hat{\mathbf{x}}$是${\mathbb{R}}^d$空间的一条直线，因此感知机实质上是通过训练参数$\hat{\mathbf{w}}$改变直线位置，直至将训练集分类完全，如图所示，或者参考文章开头的动图。

3 手推感知机原理

机器学习强基计划的初衷就是搞清楚每个算法、每个模型的数学原理，让我们开始吧！

感知机的损失函数定义为全体误分类点到感知机切割超平面的距离之和：

$$E\left(\hat{\mathbf{w}}\right)=\frac{1}{\Vert \hat{\mathbf{w}}\Vert }\sum _{i=1}^n\left|{\hat{\mathbf{w}}}^T{\hat{\mathbf{x}}}_{error}^{\left(i\right)}\right|$$

对于二分类问题$y\in -1,1$，则误分类点的判断方法为$-y_i{\hat{\mathbf{w}}}^T{\hat{\mathbf{x}}}_{error}^{\left(i\right)}>0$

• 假如$y_i=-1$为反例，但是误判为正例(样本点在直线上方)，则 w

  以上是关于机器学习强基计划1-1：图文详解感知机算法原理+Python实现的主要内容，如果未能解决你的问题，请参考以下文章

  机器学习强基计划1-3：图文详解Logistic回归原理(两种优化)+Python实现

  机器学习强基计划5-4：图文详解影响流动与有向分离(D-分离)(附Python实现)

  机器学习强基计划4-3：详解朴素贝叶斯分类原理(附例题+Python实现)

  机器学习强基计划7-4：详细推导高斯混合聚类(GMM)原理(附Python实现)

  机器学习强基计划8-1：图解主成分分析PCA算法(附Python实现)

  机器学习强基计划8-3：详细推导核化主成分分析KPCA算法(附Python实现)