三种梯度下降方法与代码实现

Posted 2022-02-22 辰chen

目录

• 前言
• 1.梯度下降方法
• • 1.1 三种梯度下降不同
  • 1.2 线性回归梯度更新公式
  • 1.3 批量梯度下降 $BGD$
  • 1.4 随机梯度下降 $SGD$
  • 1.5 小批量梯度下降 $MBGD$
• 2.代码实现梯度下降
• • 2.1 批量梯度下降 $BGD$
  • • 2.1.1 一元一次线性回归
    • 2.1.2 八元一次线性回归
  • 2.2 随机梯度下降 $SGD$
  • • 2.2.1 一元一次线性回归
    • 2.2.2 五元一次线性回归
  • 2.3 小批量梯度下降 $MBGD$
  • • 2.3.1 一元一次线性回归
    • 2.3.2 三元一次线性回归

前言

本文属于 线性回归算法【AIoT阶段三】（尚未更新），这里截取自其中一段内容，方便读者理解和根据需求快速阅读。本文通过公式推导+代码两个方面同时进行，因为涉及到代码的编译运行，如果你没有 $NumPy$，$Pandas$，$Matplotlib$ 的基础，建议先修文章：数据分析三剑客【AIoT阶段一（下）】（十万字博文 保姆级讲解），本文是梯度下降的第二部分，学之前需先修：梯度下降【无约束最优化问题】，后续还会有：梯度下降优化，梯度下降优化进阶 （暂未更新）

1.梯度下降方法

1.1 三种梯度下降不同

🚩梯度下降分三类：批量梯度下降 $BGD$（Batch Gradient Descent）、小批量梯度下降 $MBGD$（Mini-Batch Gradient Descent）、随机梯度下降 $SGD$（Stochastic Gradient Descent）。

三种梯度下降有什么不同呢？我们从梯度下降步骤开始讲起，梯度下降步骤分以下四步：

• 1、随机赋值，$Random$ 随机数生成 $\theta$，随机一组数值 $w_0、w_1\dots \dots w_n$

• 2、求梯度 $g$ ，梯度代表曲线某点上的切线的斜率，沿着切线往下就相当于沿着坡度最陡峭的方向下降

• 3、$if$ $g<0$, $\theta$ 变大，$if$ $g>0$, $\theta$ 变小

• 4、判断是否收敛 $convergence$，如果收敛跳出迭代，如果没有达到收敛，回第 $2$ 步再次执行 $2$ ~ $4$ 步

  收敛的判断标准是：随着迭代进行损失函数 $Loss$，变化非常微小甚至不再改变，即认为达到收敛

三种梯度下降不同，体现在第二步中：

• $BGD$ 是指在每次迭代使用所有样本来进行梯度的更新

• $MBGD$ 是指在每次迭代使用一部分样本（所有样本 $500$ 个，使用其中 $32$ 个样本）来进行梯度的更新

• $SGD$ 是指每次迭代随机选择一个样本来进行梯度更新

1.2 线性回归梯度更新公式

🚩回顾上一讲公式！

最小二乘法公式如下：

$J(\theta )=\frac{1}{2}\sum _{i=1}^n(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$

矩阵写法：

$J(\theta )=\frac{1}{2}(X\theta -y{)}^T(X\theta -y)$

接着我们来讲解如何求解上面梯度下降的第 $2$ 步，即我们要推导出损失函数的导函数来。

• ${\theta }_j^{n+1}={\theta }_j^n-\eta \ast \frac{\partial J(\theta )}{\partial {\theta }_j}$ 其中 $j$ 表示第 $j$ 个系数

• $\frac{\partial J(\theta )}{\partial {\theta }_j}=\frac{\partial }{\partial {\theta }_j}\frac{1}{2}(h_{\theta }(x)-y{)}^2$

$=\frac{1}{2}\ast 2(h_{\theta }(x)-y)\frac{\partial }{\partial {\theta }_j}(h_{\theta }(x)-y)$ $(1)$

$=(h_{\theta }(x)-y)\frac{\partial }{\partial {\theta }_j}(\sum _{i=0}^n{\theta }_{i}x$

梯度下降法Gradient Descent

机器学习梯度下降与正规方程（附例题代码）

梯度下降入门

梯度下降的直觉

线性回归和梯度下降