TensorBoard: 可视化学习

Posted 2020-09-06

当使用Tensorflow训练大量深层的神经网络时，我们希望去跟踪神经网络的整个训练过程中的信息，比如迭代的过程中每一层参数是如何变化与分布的，比如每次循环参数更新后模型在测试集与训练集上的准确率是如何的，比如损失值的变化情况，等等。如果能在训练的过程中将一些信息加以记录并可视化得表现出来，是不是对我们探索模型有更深的帮助与理解呢？

Tensorflow官方推出了可视化工具Tensorboard，可以帮助我们实现以上功能，它可以将模型训练过程中的各种数据汇总起来存在自定义的路径与日志文件中，然后在指定的web端可视化地展现这些信息。

1. Tensorboard介绍

1.1 Tensorboard的数据形式

Tensorboard可以记录与展示以下数据形式： 
（1）标量Scalars 
（2）图片Images 
（3）音频Audio 
（4）计算图Graph 
（5）数据分布Distribution 
（6）直方图Histograms 
（7）嵌入向量Embeddings

1.2 Tensorboard的可视化过程

（1）首先肯定是先建立一个graph,你想从这个graph中获取某些数据的信息;

（2）确定要在graph中的哪些节点放置summary operations以记录信息; 
使用tf.summary.scalar记录标量 
使用tf.summary.histogram记录数据的直方图 
使用tf.summary.distribution记录数据的分布图 
使用tf.summary.image记录图像数据 

….

（3）operations并不会去真的执行计算，除非你告诉他们需要去run,或者它被其他的需要run的operation所依赖。而我们上一步创建的这些summary operations其实并不被其他节点依赖，因此，我们需要特地去运行所有的summary节点。但是呢，一份程序下来可能有超多这样的summary 节点，要手动一个一个去启动自然是及其繁琐的，因此我们可以使用tf.summary.merge_all去将所有summary节点合并成一个节点，只要运行这个节点，就能产生所有我们之前设置的summary data。

（4）使用tf.summary.FileWriter将运行后输出的数据都保存到本地磁盘中

（5）运行整个程序，并在命令行输入运行tensorboard的指令，之后打开web端可查看可视化的结果

2.Tensorboard使用案例

不出所料呢，我们还是使用最基础的识别手写字体的案例～

不过本案例也是先不去追求多美好的模型，只是建立一个简单的神经网络，让大家了解如何使用Tensorboard。

2.1 导入包，定义超参数，载入数据

（1）首先还是导入需要的包：

 

（2）定义固定的超参数,方便待使用时直接传入。如果你问，这个超参数为啥要这样设定，如何选择最优的超参数？这个问题此处先不讨论，超参数的选择在机器学习建模中最常用的方法就是“交叉验证法”。而现在假设我们已经获得了最优的超参数，设置学利率为0.001，dropout的保留节点比例为0.9，最大循环次数为1000.

另外，还要设置两个路径，第一个是数据下载下来存放的地方，一个是summary输出保存的地方。

（3）接着加载数据,下载数据是直接调用了tensorflow提供的函数read_data_sets,输入两个参数，第一个是下载到数据存储的路径，第二个one_hot表示是否要将类别标签进行one-hot编码。它首先回去找制定目录下有没有这个数据文件，没有的话才去下载，有的话就直接读取。所以第一次执行这个命令，速度会比较慢。

2.2 创建特征与标签的占位符，保存输入的图片数据到summary

（1）创建tensorflow的默认会话：

（2）创建输入数据的占位符，分别创建特征数据x，标签数据y_ 
在tf.placeholder()函数中传入了3个参数，第一个是定义数据类型为float32；第二个是数据的大小，特征数据是大小784的向量，标签数据是大小为10的向量，None表示不定死大小，到时候可以传入任何数量的样本；第3个参数是这个占位符的名称。

（3）使用tf.summary.image保存图像信息 
特征数据其实就是图像的像素数据拉升成一个1*784的向量，现在如果想在tensorboard上还原出输入的特征数据对应的图片，就需要将拉升的向量转变成28 * 28 * 1的原始像素了，于是可以用tf.reshape()直接重新调整特征数据的维度： 
将输入的数据转换成[28 * 28 * 1]的shape，存储成另一个tensor，命名为image_shaped_input。 
为了能使图片在tensorbord上展示出来，使用tf.summary.image将图片数据汇总给tensorbord。 
tf.summary.image（）中传入的第一个参数是命名，第二个是图片数据，第三个是最多展示的张数，此处为10张。

2.3 创建初始化参数的方法，与参数信息汇总到summary的方法

（1）在构建神经网络模型中，每一层中都需要去初始化参数w,b,为了使代码简介美观，最好将初始化参数的过程封装成方法function。 
创建初始化权重w的方法，生成大小等于传入的shape参数，标准差为0.1,正态分布的随机数，并且将它转换成tensorflow中的variable返回。

创建初始换偏执项b的方法，生成大小为传入参数shape的常数0.1，并将其转换成tensorflow的variable并返回

（2）我们知道，在训练的过程在参数是不断地在改变和优化的，我们往往想知道每次迭代后参数都做了哪些变化，可以将参数的信息展现在tenorbord上，因此我们专门写一个方法来收录每次的参数信息。

2.4 构建神经网络层

（1）创建第一层隐藏层 
创建一个构建隐藏层的方法,输入的参数有： 
input_tensor：特征数据 
input_dim：输入数据的维度大小 
output_dim：输出数据的维度大小(=隐层神经元个数） 
layer_name：命名空间 
act=tf.nn.relu：激活函数（默认是relu)

调用隐层创建函数创建一个隐藏层：输入的维度是特征的维度784，神经元个数是500，也就是输出的维度。