梯度下降和导数的作用

Posted 2021-09-01 qianbo_insist

导数概念

    导数是用来反映函数局部性质的工具。对于一个函数来说， 函数在某一点的导数描述了这个函数在这一点附近的变化率。
     如果函数的自变量和取值都是实数的话,函数在某一点的导数就是该函数所代表的曲线在这一点上的切线斜率。导数的本质是通过极限的概念对函数进行局部的线性逼近。
    例如在运动学中,物体的位移对于时间的导数就为速度。

常数求导

    y = c
    常数求导为零，说明他的斜率为0，也说明了常数没有变化。

梯度下降

Gradient Descent 梯度下降是机器学习算法模型参数求解法之一，另外一种如最小二乘法，目的是得到最小化的损失函数，那如果要求解损失函数的最大值，则用梯度上升。

为求损失为最小，递归性逼近最小偏差，里面要加上步长，如函数 $y=x^2$
也就是y = x的平方，求导为y = 2x
x = x- （步长） * （求导）
设定step = 0.1 【步长决定收敛速度】
x = x - (0.1)* 2*x

y变化接近于 零时， y 达到 局部最小值。