线性分类知识记录

Posted 2023-01-11 ◝(⑅•ᴗ•⑅)◜..°♡

文章目录

• • 3.1 概述
  • 3.2 基础知识
  • 3.3 感知机
  • 3.4 线性鉴别分析
  • 3.5 logistic模型
  • 3.6 其他方法：最小距离分类、最小均方误差方法、线性SVM

3.1 概述

在向量空间中根据数据的特征向量和类别标签构造线性分类模型

3.2 基础知识

1. n维向量（vector）：n个数组成的有序数组，称为一个n维向量，$a=(a_1,a_2,...,a_n)$，其中$a_i$称为第i个分量
2. 分类问题转化为向量的分类
3. 向量空间的定义：所有分量为实数的n维向量构成的集合，称为一个n维向量空间，向量空间又称为线性空间
4. 向量空间的几何直观
5. 向量的线性相关性（一个向量可以由其他向量构造出来）
6. 向量的运算：
   • 遵循矩阵运算
   • 内积运算：
     • $a=(a_1,a_2,...,a_n{)}^T$
     • $b=(b_1,b_2,...,b_n{)}^T$
     • $⟨a,b⟩=a^{T}b=b^{T}a=\Vert a\Vert \Vert b\Vert cos\phi$
     • $⟨a,b⟩/\Vert b\Vert =\Vert a\Vert cos\phi$
     • $⟨a,b⟩/\Vert a\Vert =\Vert b\Vert cos\phi$
7. 超平面表达式：$g(x)=w^{T}x+w_0=0$
   • 实例（样本）：$x=(x_1,x_2,...,x_l{)}^T$
   • 权向量（超平面的法向量）：$w=(w_1,w_2,...,w_l)\dots \dots T$
   • 偏移量：$w_0$
8. 线性判别函数：$g(x)=w^{T}x+w_0$
   • $g(x)>0,xϵ{\omega }_1$
   • $g(x)<0,xϵ{\omega }_2$
   • 几何意义：线性函数刻画了样本到超平面的距离
9. 向量相似性度量
   • Minkovski Metric闵式距离（p-范数）
     • $D(x,y)=[{\sum }_i|x_i-y_i{|}^p{]}^{1/p}$
   • 欧氏距离（p=2）（2-范数）
     • $D(x,y)=[(x-y{)}^T(x-y){]}^{1/2}$
   • 城市块（p=1）、曼哈顿距离（1-范数）
     • $D(x,y)={\sum }_i|x_i-y_i|$
   • Chobychev距离（p=inf）
     • $D(x,y)=ma{x}_i|x_i-y_i|$
   • 平方距离/马氏距离
     • $D(x,y)=(x-y{)}^{T}Q(x-y)$
   • 余弦相似度
     • $cos\phi =a^{T}b/|a||b|$
10. 样本的统计量（向量均为列向量）
    • 类均值向量
      • m i = 1 n i ∑ k = 1 n i x k ( i

        以上是关于线性分类知识记录的主要内容，如果未能解决你的问题，请参考以下文章

        机器学习——支持向量机(SVM)

        164. 最大间距

        SVM面试知识点总结

        机器学习知识点查漏补缺（支持向量机）

        机器学习基础4--评估线性分类

        机器学习 - 3 - 线性分类