线性回归原理篇

Posted wzjhoutai

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了线性回归原理篇相关的知识,希望对你有一定的参考价值。

介绍

经典线性模型自变量的线性预測就是因变量的预计值。

广义线性模型:自变量的线性预測的函数是因变量的预计值。常见的广义线性模型有:probit模型、poisson模型、对数线性模型等等。对数线性模型里有:logistic regression、Maxinum entropy。

1.线性回归原理

技术分享

当中,技术分享为偏置參数。M为特征数目。技术分享为基函数(径向基函数(rbf)、sigmoid基函数等),

特别地,当技术分享 = 技术分享,即为简单的多元线性回归。当然,依据须要我们也能够在后面正则项。

2.參数学习

使用一般的平方和误差作为Loss function,主要有以下两种方法学习參数

(1)依据梯度下降不断迭代,此处会涉及到learing rate(学习速率)

(2)直接利用公式计算。得到一维精确解
平方和误差定义 : 技术分享

令这个梯度等于零。

技术分享

终于我们能够得到 技术分享(加黑表示为向量)

当然。我们也能够依据实际的情况定义其它的Loss function。

3.思考技术分享存在的意义

我们能够利用平方和误差对技术分享进行求导,

终于解得 技术分享

当中,技术分享 , 技术分享

因此,偏置技术分享补偿了目标值的平均值(在训练集)与基函数的值的加权求和之间的差。

4.从最根本的广义线性模型角度,导出经典线性模型

1)指数家族

技术分享

当固定T时,这个分布属于指数家族中的哪种分布就由a和b两个函数决定。以下这样的是伯努利分布,相应于逻辑回归问题

技术分享技术分享

注:从上面可知技术分享 ,从而技术分享,在后面用GLM导logistic regression的时候会用到这个sigmoid函数。

以下这样的是高斯分布,相应于经典线性回归问题

技术分享技术分享

2)GLM(广义线性模型)

指数家族的问题能够通过广义线性模型来解决。怎样构建GLM呢?在给定x和參数后,y的条件概率p(y|x,θ) 须要满足以下三个如果:

assum1) y | x; θ ~ ExponentialFamily(η).

assum2) h(x) = E[y|x]. 即给定x,目标是预測T(y)的期望,通常问题中T(y)=y

assum3) η = θTx。即η和x之间是线性的

3)经典线性回归

经典线性回归:预測值y是连续的,如果给定x和參数,y的概率分布服从高斯分布(相应构建GLM的第一条如果)。

由上面高斯分布和指数家族分布的相应关系可知,η=μ。依据构建GLM的第2、3条如果可将model表示成:

技术分享

5.加快模型收敛速度

能够将训练集中的数据处理到某个特征的范围内(当然这样对终于的结果有一定的影响,这个须要依据集体的目标、数据分布等来分析),从而加快模型收敛,此法不仅限于线性回归。主要有以下几种方法
(1)技术分享
(2)[X-mean(X)]/std(X);
(3)sigmod
(4)tan
(5)log

6.长处

(1)训练速度快
(2)对趋势比較明显的数据预測效果比較好

7.缺点

(1)easy欠拟合
(2)针对线性不可分的情况效果往往不佳

8.注意事项

(1)特征之间应相互独立(防止多元共线性,对于多元共线性问题,我们也能够通过逐步回归、岭回归的方法解决。从某种意义上来说相似于加入正则项)
(2)特征不宜过多
(3)做下One-hot处理效果还不错
(4)特征与预測变量之间应有一定相关性(能够使用皮尔逊方法检測)
(5)残差e 服从正态分布N(0,σ2) 。

其方差σ2 = var (ei) 反映了回归模型的精度。 σ 越小,用所得到回归模型预測y的准确度愈高
(6) e 的大小不随全部变量取值水平的改变而改变,即方差齐性
參考文献
1.Pattern Recognition And Machine Learning
2.http://blog.csdn.net/lilyth_lilyth/article/details/10032993


















以上是关于线性回归原理篇的主要内容,如果未能解决你的问题,请参考以下文章

如何搞懂机器学习中的线性回归模型?机器学习系列之线性回归基础篇

原创支持向量机原理线性支持回归

一元线性回归的数学原理

机器学习--线性回归的原理与基础实现

线性回归模型原理及其应用

线性回归