线性回归 python小样例

Posted 我们都是大好青年

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了线性回归 python小样例相关的知识,希望对你有一定的参考价值。

线性回归
优点:结果易于理解,计算上不复杂
缺点:对非线性的数据拟合不好
适用数据类型:数值型和标称型数据
horse=0.0015*annualSalary-0.99*hoursListeningToPulicRadio
这就是所谓的回归方程,其中的0.0015和-0.99称作回归系数,
求这些回归系数的过程就是回归。一旦有了这些回归系数,再给定输入,做预测就非常容易了
具体的做法就是用回归系数乘以输入值,再将结果全部加在一起,就得到了预测值
回归的一般方法
(1)收集数据:采用任意方法收集数据
(2)准备数据:回归需要数值型数据,标称型数据将被转成二值型数据(3)分析数据:绘出数据的可视化二维图将有助于对数据做出理解和分析,在采用缩减法球的新回归系数之后,
可以将新拟合线绘在图上作为对比
(4)训练算法:找到回归系数
(5)测试算法:适用R2或者预测值和数据的拟合度,来分析模型的效果
(6)使用算法:使用回归,可以在给定输入的时候预测出一个数值,这是对分类方法的提升,
因为这样可以预测连续型数据而不仅仅是离散的类别标签
应当怎样从一大堆数据中求出回归方程呢?嘉定输入数据存放在举着呢X中,而回归系数存放在向量w中,那么对于
给定的数据x1,预测结果将会通过y1=x1^T *W给出。现在的问题是,手里有些x和对应的y值,怎样才能找到W呢?
一个常用的方法就是找出使误差最小的w。这里的误差是指预测y值和真实y值之间的差值,使用该误差的简单累加
将使得正差值和负差值相互抵消,所以我们采用平方误差

 1 from numpy import *
 2 
 3 def loadDataSet(fileName):      #general function to parse tab -delimited floats
 4     numFeat = len(open(fileName).readline().split(	)) - 1 #get number of fields
 5     dataMat = []; labelMat = []
 6     fr = open(fileName)
 7     for line in fr.readlines():
 8         lineArr =[]
 9         curLine = line.strip().split(	)
10         for i in range(numFeat):
11             lineArr.append(float(curLine[i]))
12         dataMat.append(lineArr)
13         labelMat.append(float(curLine[-1]))
14     return dataMat,labelMat
15 
16 def standRegres(xArr,yArr):
17     xMat = mat(xArr); yMat = mat(yArr).T
18     xTx = xMat.T*xMat
19     if linalg.det(xTx) == 0.0:
20         print("This matrix is singular, cannot do inverse")
21         return
22     ws = xTx.I * (xMat.T*yMat)
23     return ws

线性回归的一个问题是有可能出现欠拟合现象,因为它求的是具有最小均方误差的无偏估计。
显而易见,如果模型欠拟合将不能取得较好的预测结果。所以有些方法允许在估计中引入一些偏差,
从而降低预测的均方误差。
其中一个方法是局部加权线性回归(LWLR)。在该算法中,我们给待预测点附近的每个点赋予一定的权重;

 

 1 def lwlr(testPoint,xArr,yArr,k=1.0):
 2     xMat = mat(xArr); yMat = mat(yArr).T
 3     m = shape(xMat)[0]
 4     weights = mat(eye((m)))
 5     for j in range(m):                      #next 2 lines create weights matrix
 6         diffMat = testPoint - xMat[j,:]     #
 7         weights[j,j] = exp(diffMat*diffMat.T/(-2.0*k**2))
 8     xTx = xMat.T * (weights * xMat)
 9     if linalg.det(xTx) == 0.0:
10         print("This matrix is singular, cannot do inverse")
11         return
12     ws = xTx.I * (xMat.T * (weights * yMat))
13     return testPoint * ws

如果数据的特征比样本点还多应该怎么办?是否可以使用线性回归和之前的方法来做预测?
答案是否定的,即不能再使用前面介绍的方法,这是因为在计算(x^T*x)^-1的时候会出错
如果特征比样本点还多(n>m),也就是说输入数据的矩阵x不是满秩矩阵,非满秩矩阵在求逆
的时会出现问题,为解决这个问题,专家引入了岭回归的概念。简单来说,岭回归就是在矩阵
X^T*X上加一个λI从而使得矩阵非奇异,进而能对x^T*x+λI求逆。其中I是单位矩阵,λ是用户定

义的一个数值。

岭回归是缩减法的一种,相当于对回归系数的大小施加了限制。另一种很好的缩减法是lasso。Lasso难以求解,但可以使用计算简便的逐步线性回归方法来求得近似的结果

缩减法还可以看作是对一个模型增加偏差的同时减少方差。偏差方差分析折中是一个重要的概念,可以帮助我们理解现有规模并做出改进,从而得到更好的模型

 



























以上是关于线性回归 python小样例的主要内容,如果未能解决你的问题,请参考以下文章

决策树python实现小样例

Liner Regression 线性回归及Python代码

机器学习入门 ----线性回归模型及其Python代码解析

Python应用实战线性回归(附Python代码)

用python写一个小程序,输入坐标求线性回归

机器学习模型和算法