机器学习线性回归的损失和优化
Posted ZSYL
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了机器学习线性回归的损失和优化相关的知识,希望对你有一定的参考价值。
线性回归的损失和优化
线性回归的损失和优化
学习目标
- 知道线性回归中损失函数
- 知道使用正规方程对损失函数优化的过程
- 知道使用梯度下降法对损失函数优化的过程
假设刚才的房子例子,真实的数据之间存在这样的关系:
真实关系:真实房子价格 = 0.02×中心区域的距离 + 0.04×城市一氧化氮浓度 + (-0.12×自住房平均房价) + 0.254×城镇犯罪率
那么现在呢,我们随意指定一个关系(猜测)
随机指定关系:预测房子价格 = 0.25×中心区域的距离 + 0.14×城市一氧化氮浓度 + 0.42×自住房平均房价 + 0.34×城镇犯罪率
请问这样的话,会发生什么?真实结果与我们预测的结果之间是不是存在一定的误差呢?类似这个样子:
既然存在这个误差,那我们就将这个误差给衡量出来
1. 损失函数
总损失定义为:
- yi为第i个训练样本的真实值
- h(xi)为第i个训练样本特征值组合预测函数
- 又称最小二乘法
如何去减少这个损失,使我们预测的更加准确些?既然存在了这个损失,我们一直说机器学习有自动学习的功能,在线性回归这里更是能够体现。这里可以通过一些优化方法去优化(其实是数学当中的求导功能)回归的总损失!!!
2. 优化算法
如何去求模型当中的W,使得损失最小?(目的是找到最小损失对应的W值)
-
线性回归经常使用的两种优化算法
- 正规方程
- 梯度下降法
2.1 正规方程
2.1.1 什么是正规方程
理解:X为特征值矩阵,y为目标值矩阵。直接求到最好的结果
缺点:当特征过多过复杂时,求解速度太慢并且得不到结果
2.1.2 正规方程求解举例
以下表数据为例:
即:
运用正规方程方法求解参数:
2.1.3 正规方程的推导
推导方式一
把该损失函数转换成矩阵写法:
其中y是真实值矩阵,X是特征值矩阵,w是权重矩阵
对其求解关于w的最小值,起止y,X 均已知二次函数直接求导,导数为零的位置,即为最小值。
求导:
注:式(1)到式(2)推导过程中, X是一个m行n列的矩阵,并不能保证其有逆矩阵,但是右乘XT把其变成一个方阵,保证其有逆矩阵。
式(5)到式(6)推导过程中,和上类似。
推导方式二
损失表示方式
总损失定义为:
- yi为第i个训练样本的真实值
- h(xi)为第i个训练样本特征值组合预测函数
- 又称最小二乘法
另一种推导方式
把损失函数分开书写:
对展开上式进行求导:
需要求得求导函数的极小值,即上式求导结果为0,经过化解,得结果为:
经过化解为:
补充:需要用到的矩阵求导公式:
2.2 梯度下降(Gradient Descent)
2.2.1 什么是梯度下降
梯度下降法的基本思想可以类比为一个下山的过程。
假设这样一个场景:
一个人被困在山上,需要从山上下来(i.e. 找到山的最低点,也就是山谷)。但此时山上的浓雾很大,导致可视度很低。
因此,下山的路径就无法确定,他必须利用自己周围的信息去找到下山的路径。这个时候,他就可以利用梯度下降算法来帮助自己下山。
具体来说就是,以他当前的所处的位置为基准,寻找这个位置最陡峭的地方,然后朝着山的高度下降的地方走,(同理,如果我们的目标是上山,也就是爬到山顶,那么此时应该是朝着最陡峭的方向往上走)。然后每走一段距离,都反复采用同一个方法,最后就能成功的抵达山谷。
梯度下降的基本过程就和下山的场景很类似。
首先,我们有一个可微分的函数。这个函数就代表着一座山。
我们的目标就是找到这个函数的最小值,也就是山底。
根据之前的场景假设,最快的下山的方式就是找到当前位置最陡峭的方向,然后沿着此方向向下走,对应到函数中,就是找到给定点的梯度 ,然后朝着梯度相反的方向,就能让函数值下降的最快!因为梯度的方向就是函数值变化最快的方向。 所以,我们重复利用这个方法,反复求取梯度,最后就能到达局部的最小值,这就类似于我们下山的过程。而求取梯度就确定了最陡峭的方向,也就是场景中测量方向的手段。
2.2.2 梯度的概念
梯度是微积分中一个很重要的概念
在单变量的函数中,梯度其实就是函数的微分,代表着函数在某个给定点的切线的斜率;
在多变量函数中,梯度是一个向量,向量有方向,梯度的方向就指出了函数在给定点的上升最快的方向;
这也就说明了为什么我们需要千方百计的求取梯度!我们需要到达山底,就需要在每一步观测到此时最陡峭的地方,梯度就恰巧告诉了我们这个方向。梯度的方向是函数在给定点上升最快的方向,那么梯度的反方向就是函数在给定点下降最快的方向,这正是我们所需要的。所以我们只要沿着梯度的反方向一直走,就能走到局部的最低点!
2.2.3 梯度下降举例
1.单变量函数的梯度下降
我们开始进行梯度下降的迭代计算过程:
如图,经过四次的运算,也就是走了四步,基本就抵达了函数的最低点,也就是山底。
2.多变量函数的梯度下降
进行多次迭代:
我们发现,已经基本靠近函数的最小值点
2.2.4 梯度下降(Gradient Descent)公式
1) α是什么含义?
α在梯度下降算法中被称作为学习率或者步长,意味着我们可以通过α来控制每一步走的距离,以保证不要步子跨的太大扯着蛋,哈哈,其实就是不要走太快,错过了最低点。同时也要保证不要走的太慢,导致太阳下山了,还没有走到山下。所以α的选择在梯度下降法中往往是很重要的!α不能太大也不能太小,太小的话,可能导致迟迟走不到最低点,太大的话,会导致错过最低点!
2) 为什么梯度要乘以一个负号?
梯度前加一个负号,就意味着朝着梯度相反的方向前进!我们在前文提到,梯度的方向实际就是函数在此点上升最快的方向!而我们需要朝着下降最快的方向走,自然就是负的梯度的方向,所以此处需要加上负号
我们通过两个图更好理解梯度下降的过程
所以有了梯度下降这样一个优化算法,回归就有了"自动学习"的能力
- 优化动态图演示
3. 梯度下降和正规方程的对比
3.1 算法选择依据
- 小规模数据:
- 正规方程:LinearRegression(不能解决拟合问题)
- 岭回归
- 大规模数据:
- 梯度下降法:SGDRegressor
4. 小结
- 损失函数
- 最小二乘法
- 线性回归优化方法
- 正规方程
- 梯度下降法
- 正规方程 – 一蹴而就
- 利用矩阵的逆,转置进行一步求解
- 只是适合样本和特征比较少的情况
- 梯度下降法 — 循序渐进
- 梯度的概念
- 单变量 – 切线
- 多变量 – 向量
- 梯度下降法中关注的两个参数
- α – 就是步长
- 步长太小 – 下山太慢
- 步长太大 – 容易跳过极小值点(*)
- 为什么梯度要加一个负号
- 梯度方向是上升最快方向,负号就是下降最快方向
- α – 就是步长
- 梯度的概念
- 梯度下降法和正规方程选择依据
- 小规模数据:
正规方程:LinearRegression(不能解决拟合问题)
岭回归 - 大规模数据:
梯度下降法:SGDRegressor
- 小规模数据:
以上是关于机器学习线性回归的损失和优化的主要内容,如果未能解决你的问题,请参考以下文章