pytorch 计算图与动态图机制

Posted 2023-03-29

参考技术A （y对w的导数，其实就是y到w的所有路径上的导数之和）

叶子节点是用户创建的节点，设置叶子节点可以节省内存，因为更新时，非叶子节点的梯度是会被释放的。

pytorch用的是动态图，tensorflow用的是静态图。

静态图（先搭建好完整图，然后数据再流动）：

动态图（根据每一步搭建图）：

深度之眼PyTorch训练营第二期 ---3计算图与动态图机制

一、计算图

1、计算图是用于描述运算的有向无环图。

• 主要有两个元素：结点(Node)、边(edge)
  • 结点表示数据，如向量、矩阵、张量
  • 边表示运算，如加减乘除卷积等

　　例子：用计算图表示 y = (x + w) * (w + 1)

　　拆分：a = x + w  b = w + 1  --->   y = a * b

 

 2、计算图与梯度求导

=b * 1 + a * 1

=b + a

=(w+1) + (x+w)

=2*w + x + 1

=2 * 1 + 2 + 1

=5

 

y到w所有路径

3、叶子结点：用户创建的结点称为叶子结点，如X与W

• is_leaf：指示张量是否为叶子结点

• retain_grad()：保存相应张量的梯度

 

• grad_fn:记录创建该张量时所用到的方法（函数） ---  反向传播时常用

结果：y.grad_fn = <MulBackward0>

　　a.grad_fn = <AddBackward0>

　　b.grad_fn = <AddBackward0>

 

二、动态图 Dynamic Graph

• 动态图：运算与搭建同时进行   ---PyTorch  灵活，易调节

• 静态图：先搭建图，后运算      ---tensorflow   高效，不灵活