tensorboardX笔记：理解graph

Posted 2021-12-22 UQI-LIUWJ

        TensorBoardX中的Graph不同于一般的神经网络结构图，它是一种计算图。

        图中每个节点要么是Tensor本身，要么是运算符；每一条边要么代表Tensor的流动，要么代表控制关系。

        这张图完备的表达了通过代码定义的神经网络中所有计算步骤，可以据此说明前向计算、误差反向传播、梯度下降调整参数等过程。

        在实际工作中，理解了上述含义，就可以将Graph利用起来，在Debug过程中可视化的发现网络计算流程中的问题。复杂程序的调试总是困难的，引入可视化工具对于调试效率会非常有帮助。

1 图中基本元素

	命名空间	层次较高的节点（node）
	操作符节点	他代表一个操作，或者说是运算，函数 输入的张量是这个函数的自变量，通过函数运算后输出。
	常量	他代表一个常量，也就是一个常数
	数据流边	这里面带箭头的线叫dataflow edge，是数据流边 表示张量数据流向箭头所指的节点 线段的宽度代表了张量的维度，维度越多越宽。 如果线段变成了虚线，就变成了控制依赖边，表示箭头尾部对箭头头部的控制、依赖关系。

 2 举例

以 pytorch笔记——简易回归问题_UQI-LIUWJ的博客-CSDN博客 为例

 把Linear 展开，有：