机器学习方法：回归：线性回归Linear regression

Posted 2020-09-24 yutingliuyl

欢迎转载。转载请注明：本文出自Bin的专栏blog.csdn.net/xbinworld。

开一个机器学习方法科普系列：做基础回想之用。学而时习之；也拿出来与大家分享。数学水平有限，仅仅求易懂，学习与工作够用。周期会比較长。由于我还想写一些其它的，呵呵。

content:
linear regression, Ridge, Lasso
Logistic Regression, Softmax
Kmeans, GMM, EM, Spectral Clustering
Dimensionality Reduction: PCA、LDA、Laplacian Eigenmap、 LLE、 Isomap（改动前面的blog）
SVM
ID3、C4.5
Apriori，FP
PageRank
minHash, LSH
Manifold Ranking，EMR
待补充
…
…

開始几篇将具体介绍一下线性回归linear regression，以及加上L1和L2的正则的变化。

后面的文章将介绍逻辑回归logistic regression。以及Softmax regression。为什么要先讲这几个方法呢？由于它们是机器学习/深度学习的基石（building block）之中的一个。而且在大量教学视频和教材中重复被提到。所以我也记录一下自己的理解，方便以后翻阅。这三个方法都是有监督的学习方法，线性回归是回归算法，而逻辑回归和softmax本质上是分类算法（从离散的分类目标导出），只是有一些场合下也有混着用的——如果目标输出值的取值范围和logistic的输出取值范围一致。

ok，废话不多说。

1、Linear Regression

能够说基本上是机器学习中最简单的模型了，可是实际上其地位非常重要（计算简单、效果不错。在非常多其它算法中也能够看到用LR作为一部分）。

先来看一个小样例，给一个“线性回归是什么”的概念。图来自[2]。

如果有一个房屋销售的数据例如以下：
面积(m^2) 销售价钱（万元）
123 250
150 320
87 160
102 220
… …

当我们有非常多组这种数据。这些就是训练数据，我们希望学习一个模型，当新来一个面积数据时。能够自己主动预測出销售价格（也就是上右图中的绿线）；这种模型必定有非常多。当中最简单最朴素的方法就是线性回归，也就是我们希望学习到一个线性模型（上右图中的红线）。只是说是线性回归，学出来的不一定是一条直线，仅仅有在变量x是一维的时候才是直线，高维的时候是超平面。

定义一下一些符号表达，我们通常习惯用X=(x1,x2,...,xn)T∈Rn×p表示数据矩阵，当中xi∈Rp表示一个p维度长的数据样本；y=(y1,y2,...,yn)T∈Rn表示数据的label，这里仅仅考虑每个样本一类的情况。

线性回归的模型是这种。对于一个样本xi，它的输出值是其特征的线性组合：

f(xi)=∑m=1pwmxim+w0=wTxi

当中。w0称为截距。或者bias。上式中通过添加xi0=1把w0也吸收到向量表达中了，简化了形式，因此实际上xi有p+1维度。

线性回归的目标是用预測结果尽可能地拟合目标label，用最常见的Least square作为loss function：

J(w)=1n∑i=1n(yi−f(xi))2=1n∥y−Xw∥2

从下图来直观理解一下线性回归优化的目标——图中线段距离（平方）的平均值，也就是最小化到切割面的距离和。

也就是非常多中文教材中提到的最小二乘；线性回归是convex的目标函数，而且有解析解：

w^=(XTX)−1XTy

线性回归到这里就训练完毕了，对每个样本点的预測值是f(xi)=yi^=w^Txi。

所以：

y^=Xw^=X(XTX)−1XTy

接下来看一下我们寻找到的预測值的一个几何解释：从上面的解析解w^=(XTX)−1XTy能够得到机器学习七--回归--多元线性回归Multiple Linear Regression

机器学习:局部加权线性回归(Locally Weighted Linear Regression)

机器学习方法：回归：线性回归Linear regression

机器学习---线性回归（Machine Learning Linear Regression）

机器学习------- 线性回归（Linear regression ）

机器学习六--回归--简单线性回归Simple Linear Regression