Andrew Ng机器学习:线性回归

Posted sumr

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Andrew Ng机器学习:线性回归相关的知识,希望对你有一定的参考价值。

1.什么是线性回归?

用线性关系去拟合输入和输出。

设输入为x,则输出y=ax+b。

对于多元的情况y=b×1+a1x1+a2x2+...+anxn

用θ表示系数,可以写作:

技术分享图片

其中,x0=1。

2.线性回归有什么用?

对于连续输入和输出的问题,如果线性回归可以较好的拟合输入和输出,那么可以用这个模型预测其它输入时的输出。

反过来想:如果线性回归可以较好的拟合输入和输出,那么说明输出和输入有很强的线性相关性,可以识别输入中的冗余信息。

3.怎么判断是否较好的拟合?

初步考虑,就是当使用模型时的输出、和真实的输出有多大偏差,选择一个方法量化这个偏差。

每个样本输入模型时,均会产生一个偏差。

线性回归中,通过求这些偏差的平方平均值,来判断偏差的程度。写作:

技术分享图片

其中实际输出为y,模型输出为h,上标i是指每个样本。系数在平方平均值的基础上除以2。

判断偏差的这个方程起名叫 Cost Function。当偏差越小、即Cost Function的值越小时,拟合的越好。 

4.怎么训练模型?

训练模型的目的在于实现较好的拟合,也就是说使Cost Function的值尽量小。

训练在这里,就是选择一组系数θ(模型确定以后,模型的参数就是系数θ们),实现上面的目的。

微积分学过,可以对θ求偏导数等于0的点,直接得到极值点。

按照Andrew Ng的课件,当参数个数大于10000个时,直接求极值点时间太长,需要选择别的办法。

5.怎样训练模型:梯度下降。

顾名思义,就是沿着梯度下降。选择一个合适的步长α,一步一步改变θ使Cost Function的值不断减小。

技术分享图片

其中,θj表示各个系数。:=前面的冒号表示每个θj同时改变。

走多少步?和怎么判断模型训练好了呢?最好是观察每次θj改变后,J(θ)的值的变化。

最开始θj等于多少呢?最开始,随便选一组值就可以。

步长α应该选多大呢?要通过手动尝试,“找”到合适的值。

最后,经过多次迭代后,算法得到一组θ,使Cost Function的值比较小。

6.matlab实现一个线性回归。

%一个特征的输入参数
X1=[0.50,0.75,1.00,1.25,1.50,1.75,1.75,2.00,2.25,2.50,2.75,3.00,3.25,3.50,4.00,4.25,4.50,4.75,5.00,5.50];
X0=ones(size(X1));
X=([X0;X1])‘;
y=([10, 22, 13, 43, 20, 22, 33, 50, 62, 48, 55, 75, 62, 73, 81, 76, 64, 82, 90, 93])‘;

%梯度下降参数设计
alpha=0.001;%当alpha大于1时就不收敛了
theta=[2;3];%选哪个点作为起点似乎对收敛速度影响不大
times=2000;%迭代次数

for i=1:times
delta=X*theta-y;%求偏导数
theta=theta-alpha.*(X‘*delta);%梯度下降
J(i)=delta‘*delta;%求此时的Cost Function值
end


%观察Cost Function值随迭代次数的变化
% plot(J);
%观察拟合情况
stem(X1,y);
p2=X*theta;
hold on;
plot(X1,p2);

 技术分享图片

7.实际使用

实际使用线性回归时,先对输入数据进行优化。包括:1.将冗余的和无关的变量去掉;2.对于非线性关系,采用多项式拟合,将一个变量变为多个变量;3.将输入范围归一化。


 

小结

线性回归开始假设输入和输出存在线性关系,

然后使用线性回归模型h=θTx,用Cost Function J(θ)评价拟合程度,

通过对J(θ)应用梯度下降算法逼近一组好的参数θ,从而得到一个适用的模型h。

 

线性回归的使用建立在“输入和输出存在线性关系”这一假设基础上,把一组特征映射到一个值。

使用起来,也许因为模型太简单,感觉不到“机器学习”的感觉。选用时也需要很多先验知识、针对特定情况,就像一般的编程处理问题一样。

在使用梯度下降的算法时,迭代的过程,有点“学习”的感觉。




















以上是关于Andrew Ng机器学习:线性回归的主要内容,如果未能解决你的问题,请参考以下文章

线性回归梯度下降 - Andrew Ng机器学习公开课笔记1.1

Andrew Ng机器学习第一章——单变量线性回归

斯坦福大学Andrew Ng - 机器学习笔记 -- 单变量&多变量线性回归

局部加权回归欠拟合过拟合 - Andrew Ng机器学习公开课笔记1.3

Andrew Ng机器学习:逻辑回归

Stanford coursera Andrew Ng 机器学习课程编程作业(Exercise 2)及总结