《30天吃掉那只 TensorFlow2.0》 2-3 自动微分机制

Posted 2022-08-24 风信子的猫Redamancy

2-3 自动微分机制

文章目录

• • 2-3 自动微分机制
  • • 一，利用梯度磁带求导数
    • • 对张量求导
      • 求二阶导数
    • 二，利用梯度磁带和优化器求最小值

神经网络通常依赖反向传播求梯度来更新网络参数，求梯度过程通常是一件非常复杂而容易出错的事情。

而深度学习框架可以帮助我们自动地完成这种求梯度运算。

Tensorflow一般使用梯度磁带tf.GradientTape来记录正向运算过程，然后反播磁带自动得到梯度值。

这种利用tf.GradientTape求微分的方法叫做Tensorflow的自动微分机制。

一，利用梯度磁带求导数

首先我们可以求以下二次函数的导数
f ( x