多元线性回归

Posted 志者之梦

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了多元线性回归相关的知识,希望对你有一定的参考价值。

一般情况下,一个因变量是和多个自变量有关的,比如一个商品的价格和原料价格、加工方法、上市时间、品牌价值等有关,也就是多元线性,本节介绍如何用scikit-learn解决多元线性回归问题。

1、多元线性回归模型

方程:Y=Xβ 

求解多元线性回归问题就是求解β:

因为X不一定是方阵,所以不能直接β=X-1Y

两边同时乘以Xt,得到XtY=XtXβ

因为XtX是方阵,它的逆是(XtX)-1,所以两边同时乘(XtX)-1得到

(XtX)-1XtY=β

根据这个公式,我们自己设计一个例子,验证一下

设计二元一次方程:y=1+2*x1+3*x2=1*x0+2*x1+3*x2

取样本为(1,1,1),(1,1,2),(1,2,1),计算得y=(6,9,8)

注意:这里面常数项1相当于1*x0,只不过这里的x0永远取1

所以我们的

X = [[1,1,1],[1,1,2],[1,2,1]]

y = [[6],[9],[8]]

β =[1, 2, 3]^T;

代码如下:

1 from numpy.linalg import inv
2 from numpy import dot, transpose
3 X = [[1,1,1],[1,1,2],[1,2,1]]
4 y = [[6], [9], [8]]
5 print dot(inv(dot(transpose(X),X)), dot(transpose(X),y))
6 print(dot(dot(inv(dot(transpose(X), X)), transpose(X)), y))
View Code
1 [[ 1.]
2  [ 2.]
3  [ 3.]]
4 [[ 1.]
5  [ 2.]
6  [ 3.]]

这里面transpose是求转置,dot是求矩阵乘积,inv是求矩阵的逆。

也可以用numpy的最小二乘函数直接计算出β。

1 from numpy.linalg import lstsq
2 print lstsq(X, y)[0]
1 [[ 1.]
2  [ 2.]
3  [ 3.]]

2、用scikit-learn求解多元线性回归

 1 import numpy
 2 from sklearn.linear_model import LinearRegression
 3 X = [[1, 1, 1], [1, 1, 2], [1, 2, 1]]
 4 y = [[6], [9], [8]]
 5 model = LinearRegression()
 6 model.fit(X, y)#训练模型
 7 x2 = [[1, 3, 5]]
 8 y2 = model.predict(x2)
 9 print(type(y2), y2.shape)
10 print(y2[0])
View Code

结果:

1 (<type \'numpy.ndarray\'>, (1, 1))
2 [ 22.]

 正好:刚好y=1+2*x1+3*x2=1+2*3+3*5=22 

 

 

 

 

 

 

 

 

 

以上是关于多元线性回归的主要内容,如果未能解决你的问题,请参考以下文章

Matlab多元线性回归(Excel可直接替换数据)

贝叶斯线性回归和多元线性回归构建工资预测模型|附代码数据

python:多元线性回归总结

使用 Tensorflow 的多元线性回归模型

如何利用多元线性回归分析确定权重系数

Python - 多元线性回归 - 每个输入变量的确定系数