反向传播算法之要点(Backpropagation)

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了反向传播算法之要点(Backpropagation)相关的知识,希望对你有一定的参考价值。

参考技术A 反向传播是一个很简单的算法,一个学习过微积分的人就能够轻松的理解。本文希望避免让人打不起精神来看的冗余繁杂,简洁地把反向传播的算法的推导过程和求解过程进行简洁、清晰的表述。

反向传播的要点只有3个公式,首先在此做总结如下:

已知:

推导:

全微分Review:

推导:

反向传播的本质是链式法则+动态规划。

整个计算图中,假设每个连边代表上层对下层进行求导,那么传统方法求解cost function关于某个参数的导数,根据链式法则,就需要计算从最后一层到这一个参数路径上的所有导数,然后再把他们乘起来。可想而知,计算复杂度随着网络的深度增加将会变得非常大。

在反向传播算法中,首先通过一个前向传播的过程计算并保存了每一层的输出,然后利用链式法则推导出了从后往前的递推公式,使得计算图上的每一条边只用计算一次,就能求出关于任何参数的导数。

深度学习之求导

导数

之所以求导,是因为我们的优化模型的求解都是通过求导来进行的,深度学习或者说神经网络当中最重要的一个要素是反向传播算法(Back propagation)。反向传播算法与数学当中求导链式法则有非常密切的关系,当前的流行的网络结构,无不遵循这个法则,比如计算视觉当中的LeNet、AlexNet、GoogLeNet、VGG、ResNet,还有其它的各种网络。

反向传播算法与梯度下降算法




当然我们在pytorch中是不需要自己来求导的,但仍要我们掌握一下

自动求导

在pytorch乃至整个神经网络中,链式求导法则是十分重要的,尽管我们不需要自己手动计算,但我们依旧要掌握相关概念,如计算图,其实际上的运算流程与链式求导法则相同


正向传播”求损失,“反向传播”回传误差

一个Tensor中通常会记录如下图中所示的属性:

  • data: 即存储的数据信息
  • requires_grad: 设置为True则表示该Tensor需要求导
  • grad:该Tensor的梯度值,只有自动求导后,才有值,每次在计算backward时都需要将前一时刻的梯度归零,否则梯度值会一直累加。
  • grad_fn: 叶子节点通常为None,只有中间节点的 grad_fn 才有效,用于指示梯度函数是哪种类型。
  • is_leaf: 用来指示该Tensor是否是叶子节点
import torch
x = torch.arange(4.0)
print(x)#指定参数reuqires_grad=True来建立一个反向传播图,从而能够计算梯度
x.requires_grad_(True)  # 等价于x=torch.arange(4.0,requires_grad=True)  指定我要在这里存储x的梯度
print(x.grad)  # 默认值是None  通过该值来获取梯度
y=2*torch.dot(x,x)#对于矩阵而言,内积即为平方,则2*x^2的导数即为4*x,注意dot(x,x)内积为标量,而x作为向量,x*x则为矩阵,我们不对其求导
print(y)
y.backward()#通过y的反向传播函数;来调用,即求导
print(x.grad)#计算出x的梯度
print(x.grad==4*x)
x.grad.zero_()#默认情况下,pytorch会累积梯度,因此我们在计算另一个数值前需要清零
y=x.sum()
y.backward()
print(x.grad)
x.grad.zero_()
y = x * x
u = y.detach()#将y当作一个常数,而不是一个x的函数,则u也是常数
z = u * x
z.sum().backward()#这是先求和再求导的意思。在深度学习中,我们的目的不是计算微分矩阵,而是批量中每个样本单独计算的偏导数之和,
# 上面的报错信息意思

以上是关于反向传播算法之要点(Backpropagation)的主要内容,如果未能解决你的问题,请参考以下文章

如何理解CNN神经网络里的反向传播backpropagation,bp算法

神经网络算法推演----------:反向传播算法Backpropagation Algorithm

详解 BackPropagation 反向传播算法!

详解 BackPropagation 反向传播算法!

详解 BackPropagation 反向传播算法!

[机器学习] UFLDL笔记 - 反向传播算法(Backpropagation)