Tensorboard 图像摘要

Posted 2023-03-27

【中文标题】Tensorboard 图像摘要

【英文标题】：Tensorboard Image Summaries

【发布时间】：2018-12-12 07:35:50

【问题描述】：

我使用 Matplotlib 在训练期间的每个时期创建自定义 t-SNE 嵌入图。我希望图表以滑块格式显示在 Tensorboard 上，例如这个 MNST 示例：

但是，每批图都显示为每个时期的单独摘要，以后真的很难查看。见下文：

它似乎正在创建多个具有相同名称的图像摘要，因此附加_X 后缀而不是像我想要的那样覆盖或添加到滑块。同样，当我使用family 参数时，图像的分组方式不同，但仍将_X 附加到摘要名称范围内。

这是我创建自定义绘图并使用自定义绘图添加到tf.summary.image 并将评估摘要添加到摘要编写器的代码。

def _visualise_embedding(step, summary_writer, features, silhouettes, sample_size=1000):
    '''
    Visualise features embedding image by adding plot to summary writer to track on Tensorboard
    '''
    # Select random sample
    feats_to_sils = list(zip(features, silhouettes))
    shuffle(feats_to_sils)
    feats, sils = zip(*feats_to_sils)
    feats = feats[:sample_size]
    sils = sils[:sample_size]

    # Embed feats to 2 dim space
    embedded_feats = perform_tsne(2, feats)

    # Plot features embedding
    im_bytes = plot_embedding(embedded_feats, sils)

    # Convert PNG buffer to TF image
    image = tf.image.decode_png(im_bytes, channels=4)

    # Add the batch dimension
    image = tf.expand_dims(image, 0)
    summary_op = tf.summary.image("model_projections", image, max_outputs=1, family='family_name')
    # Summary has to be evaluated (converted into a string) before adding to the writer
    summary_writer.add_summary(summary_op.eval(), step)

我知道，如果我将可视化方法作为操作添加到图形中以避免名称重复问题，我可能会得到我想要的滑块图。但是我需要能够遍历我评估的张量值来执行 t-SNE 来创建嵌入...

我已经坚持了一段时间，所以任何建议都值得赞赏！

【参考方案1】：

这可以通过使用tf.Summary.Image()来实现

例如：

    im_summary = tf.Summary.Image(encoded_image_string=im_bytes)
    im_summary_value = [tf.Summary.Value(tag=self.confusion_matrix_tensor_name, 
    image=im_summary)]

这是一个summary.proto 方法，所以起初对我来说很明显，因为方法定义无法通过 Tensorflow 访问。当我在 github 上找到它的代码 sn-p 时，我才意识到它的功能。

无论哪种方式，它都会像我想要的那样在 Tensorboard 上以幻灯片的形式展示图像摘要。 ?