随机梯度下降法的数学基础

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了随机梯度下降法的数学基础相关的知识,希望对你有一定的参考价值。


梯度是微积分中的基本概念,也是机器学习解优化问题经常使用的数学工具(梯度下降算法)。因此,有必要从头理解梯度的来源和意义。本文从导数开始讲起,讲述了导数、偏导数、方向导数和梯度的定义、意义和数学公式,有助于初学者后续更深入理解随机梯度下降算法的公式。大部分内容来自维基百科和博客文章内容的总结,并加以个人理解。

导数

导数(英语:​​derivative​​)是微积分学中的一个概念。函数在某一点的导数是指这个函数在这一点附近的变化率。导数的本质是通过极限的概念对函数进行局部的线性逼近。当函数 随机梯度下降法的数学基础_导数 的自变量在一点 随机梯度下降法的数学基础_方向导数_02 处产生一个增量时 随机梯度下降法的数学基础_导数_03 时,函数输出值的增量与自变量增量 随机梯度下降法的数学基础_导数_03 的比值在 随机梯度下降法的数学基础_导数_03 趋于 0 时的极限如果存在,则将这个比值定义为 随机梯度下降法的数学基础_导数随机梯度下降法的数学基础_方向导数_02 处的导数,记作 随机梯度下降法的数学基础_方向导数_08随机梯度下降法的数学基础_偏导数_09随机梯度下降法的数学基础_偏导数_10

导数是函数的局部性质。不是所有的函数都有导数,一个函数也不一定在所有的点上都有导数。若某函数在某一点导数存在,则称其在这一点可导(可微分),否则称为不可导(不可微分)。如果函数的自变量和取值都是实数的话,那么函数在某一点的导数就是该函数所代表的曲线在这一点上的切线斜率。

随机梯度下降法的数学基础_方向导数_11

对于可导的函数 随机梯度下降法的数学基础_导数随机梯度下降法的数学基础_方向导数_13 也是一个函数,称作 随机梯度下降法的数学基础_导数

随机梯度下降法的数学基础_随机梯度下降_15

导数的一般定义如下:

如果实函数 随机梯度下降法的数学基础_导数 在点 随机梯度下降法的数学基础_梯度_17 的某个领域内有定义,且以下极限(注意这个表达式所定义的函数定义域不含 随机梯度下降法的数学基础_梯度_17

随机梯度下降法的数学基础_梯度_19

存在,则称 随机梯度下降法的数学基础_导数随机梯度下降法的数学基础_梯度_17 处可导,并称这个极限值为 随机梯度下降法的数学基础_导数随机梯度下降法的数学基础_梯度_17 处的导数,记作 随机梯度下降法的数学基础_梯度_24

偏导数

偏导数的作用与价值在向量分析和微分几何以及机器学习领域中受到广泛认可。

导数是一元函数的变化率(斜率),导数也是函数,可以理解为函数的变化率与位置的关系。

那么如果是多元函数的变化率问题呢?答案是偏导数,定义为多元函数沿坐标轴的变化率

偏导数是多元函数“退化”成一元函数时的导数,这里“退化”的意思是固定其他变量的值,只保留一个变量,依次保留每个变量,则 随机梯度下降法的数学基础_偏导数_25 元函数有 随机梯度下降法的数学基础_偏导数_25

如果一个变量对应一个坐标轴,那么偏导数可以理解为函数在每个位置处沿着自变量坐标轴方向上的导数(切线斜率)。

在数学中,偏导数(英语:​​partial derivative​​)的定义是:一个多变量的函数(或称多元函数),对其中一个变量(导数)微分,而保持其他变量恒定。函数 随机梯度下降法的数学基础_导数 关于变量 随机梯度下降法的数学基础_梯度_28 的偏导数记为 随机梯度下降法的数学基础_偏导数_29随机梯度下降法的数学基础_方向导数_30。偏导数符号 $\\partial $ 是全导数符号 随机梯度下降法的数学基础_偏导数_31

假设 随机梯度下降法的数学基础_导数

随机梯度下降法的数学基础_梯度_33

我们把变量 随机梯度下降法的数学基础_导数_34 视为常数,通过对方程求导,我们可以得到函数 随机梯度下降法的数学基础_随机梯度下降_35 关于变量 随机梯度下降法的数学基础_梯度_36:

随机梯度下降法的数学基础_偏导数_37

同理可得,函数 随机梯度下降法的数学基础_导数 关于变量 随机梯度下降法的数学基础_导数_34

随机梯度下降法的数学基础_方向导数_40

方向导数

在前面导数和偏导数的定义中,均是沿坐标轴正方向讨论函数的变化率。那么当我们讨论函数沿任意方向的变化率时,也就引出了方向导数的定义,即:某一点在某一趋近方向上的导数值

通俗理解就是:我们不仅要知道函数在坐标轴正方向上的变化率(即偏导数),而且还要设法求得函数在其他特定方向上的变化率(方向导数)。如下图所示,点 随机梯度下降法的数学基础_导数_41 位置处红色箭头方向的方向导数为黑色切线的斜率。图片来自链接 ​​​Directional Derivative​​。

随机梯度下降法的数学基础_方向导数_42

方向导数的定义参考下图,来源-​​直观理解梯度,以及偏导数、方向导数和法向量等​​。

随机梯度下降法的数学基础_梯度_43

梯度

梯度,写作 随机梯度下降法的数学基础_随机梯度下降_44 或 grad 随机梯度下降法的数学基础_导数,二元时为(随机梯度下降法的数学基础_随机梯度下降_46)。梯度是微积分中的基本概念,也是机器学习解优化问题经常使用的数学工具(梯度下降算法)。

在向量微积分中,梯度(英语:​​gradient​​)是一种关于多元导数的概括。平常的一元(单变量)函数的导数是标量值函数,而多元函数的梯度是向量值函数。

就像一元函数的导数表示这个函数图形的切线的斜率,如果多元函数在点 随机梯度下降法的数学基础_导数_41 上的梯度不是零向量,则它的方向是这个函数在 随机梯度下降法的数学基础_导数_41 上最大增长的方向、而它的量是在这个方向上的增长率

可以从以下两个例子理解梯度的意义:

  1. 假设有一个房间,房间内所有点的温度由一个标量场 随机梯度下降法的数学基础_梯度_49 给出的,即点 随机梯度下降法的数学基础_随机梯度下降_50 的温度是 随机梯度下降法的数学基础_随机梯度下降_51。假设温度不随时间改变。然后,在房间的每一点,该点的梯度将显示变热最快的方向。梯度的大小将表示在该方向上的温度变化率。
  2. 考虑一座高度函数为 随机梯度下降法的数学基础_偏导数_52 的山,山上某点 随机梯度下降法的数学基础_随机梯度下降_53 的高度是 随机梯度下降法的数学基础_导数_54,点 随机梯度下降法的数学基础_方向导数_55

总结梯度的几何意义:

  • 当前位置的梯度方向,为函数在该位置处方向导数最大的方向,也是函数值上升最快的方向,反方向为下降最快的方向;
  • 当前位置的梯度长度(模),为最大方向导数的值。

总结

  • 方向导数是各个方向上的导数。
  • 偏导数连续才有梯度存在。
  • 梯度的方向是方向导数中取到最大值的方向,梯度的值是方向导数的最大值。

参考资料

  1. ​维基百科-偏导数​
  2. ​​直观理解梯度,以及偏导数、方向导数和法向量等​​


以上是关于随机梯度下降法的数学基础的主要内容,如果未能解决你的问题,请参考以下文章

梯度下降法和随机梯度下降法的区别

随机梯度下降算法

机器学习:随机梯度下降法(线性回归中的应用)

批量梯度下降和随机梯度下降法的缺点

批量梯度下降和随机梯度下降法的缺点

批量梯度下降和随机梯度下降法的缺点