Tensorboard 未显示最后训练模型的自定义指标

Posted 2023-03-27

【中文标题】Tensorboard 未显示最后训练模型的自定义指标

【英文标题】：Tensorboard not showing the custom metric for the last trained model

【发布时间】：2021-03-05 06:15:42

【问题描述】：

我正在 python-tensorflow 上训练一系列模型，并在 Tensorboard 上显示结果。这最初是在 jupyter notebook 上完成的，但显然 Colab 上也存在问题。

除了验证结果之外，我还想在 Tensorboard 上显示测试集的评估结果，为此我通过覆盖 on_train_end 方法创建了一个自定义回调，该方法调用 res = self.model.evalute(x=x_test, y=y_test, batch_size=1) 然后调用 @987654325 @ 将评估结果存储为标量。结束所有训练后，我启动 tensorboard。问题是 tensorboard 没有显示最后一个模型的指标：给定 n 模型（其架构在 MODELS_ARCH 中定义，张量板仅显示第一个 n-1 模型的自定义指标的值。

代码如下（在jupyter notebook中，有些行不能直接从python运行，如!rm -rf NNlogs/*删除之前的日志）：

import tensorflow as tf
import numpy as np
import os
root_logdir = os.path.join(os.curdir , "NNlogs")

def get_run_logdir(): 
    import time
    run_id = time.strftime("%Y_%m_%d-%H_%M_%S") 
    return os.path.join(root_logdir , run_id)

def create_models():
    names = ['Dense5', 'Dense6', 'Dense7', 'Dense8']
    MODELS_ARCH = [
        [
            tf.keras.layers.Dense(5, activation='tanh')
        ], 
        [
            tf.keras.layers.Dense(6, activation='tanh')

        ],
        [
            tf.keras.layers.Dense(7, activation='tanh')
        ],
        [
            tf.keras.layers.Dense(8, activation='tanh')
        ]
    ]
    models = []
    for el in MODELS_ARCH:
        models.append(tf.keras.Sequential(el))
        models[-1]._name = names[len(models)-1]
    return models

x_train = np.array([[1., 2.,4., 5., 6.,],[1., 4.,0.5, 7., 9.,], [1., 2.6, 1., 5.6, 6.,]])
y_train = np.array([[ 5.5],[6.], [7.]])
x_val = np.array([[1.7, 5.2, 7.6, 5.2, 6.5,],[2.8, 4.2, 0.8, 7.3, 9.4,], [1.8, 8.4, 6.6, 6.6, 9.,]])
y_val = np.array([[ 5.5],[6.8], [7.1]])
x_test = np.array([[5.2, 7.7, 9.5, 10.8, 4.4,],[2.3, 16., 5.7, 8.8, 9.7,], [1.8, 8.4, 7.3, 6.4, 9.,]])
y_test = np.array([[ 5.5],[6.6], [8.1]])

!rm -rf NNlogs/*
lr = 1e-2
models = create_models()

EPOCHS = 10

class OnTrainEndCallback(tf.keras.callbacks.Callback):
    def __init__(self, epochs):
        super(OnTrainEndCallback, self).__init__()
        self.epochs = epochs
    def on_train_end(self, logs=None):
        res = self.model.evaluate(x=x_test, y=y_test, batch_size=1)
        tf.summary.scalar('Model evalutated on test', data=res, step=self.epochs)
        #return res
    
on_train_end_cb = OnTrainEndCallback(EPOCHS)

optimizer = tf.keras.optimizers.Adagrad(lr=1e-2)

histories = []
tests = []
for m in models:
    run_logdir = get_run_logdir() + "_" + m._name
    file_writer = tf.summary.create_file_writer(run_logdir + "/metrics")
    file_writer.set_as_default()
    
    tensorboard_cb = tf.keras.callbacks.TensorBoard(run_logdir, update_freq='epoch') #batch or epoch
    m.compile(loss='mse', optimizer=optimizer)
    history = m.fit(x=x_train, y=y_train, epochs=EPOCHS,
                    validation_data=(x_val, y_val),
                    callbacks=[tensorboard_cb, on_train_end_cb], batch_size=32)
    histories.append(history)
    tests.append(m.evaluate(x=x_test, y=y_test, batch_size=1))

如果我这样做：

for m in models:
    print(m.name, m.evaluate(x=x_test, y=y_test, batch_size=1, verbose=0))

它打印所有模型的评估结果：

Dense2 43.158206939697266
Dense3 44.55398941040039
Dense4 43.6148681640625
Dense5 48.75056457519531

但是当我启动张量板时

%load_ext tensorboard
%tensorboard --logdir NNlogs --host localhost

并为左侧菜单上的所有模型选择metrics，它不会显示Dense8 模型中的一个，而它会显示其他模型。从这张图片可以看出问题，您可以在左下角看到已选择模型的指标，但上图未显示此模型的值（相信它不是缩放）。

此外，我检查了该模型的文件夹NNlogs，我可以看到与其他模型一样，有一个扩展名为*.v2 的文件，所以我认为该指标是正确安全的。

【参考方案1】：

在this answer 之后，只有当缓冲区已满时tf.summary.create_file_writer 才会写入磁盘。显然，当写入多个模型评估时，缓冲区会被填满。所以在第四次评估中，它第三次写入磁盘，缓冲区包含第四次，但未满，这不会写入磁盘。要强制刷新缓冲区并将内容写入磁盘，只需在for 循环之后（在其外部）调用file_writer.close()。

【参考方案2】：

这可能不是您问题的直接答案，但您是否考虑过使用 Aim？ 它在可视化指标和分析指标方面明显更加复杂，但也易于使用/入门：https://github.com/aimhubio

pythonic 快速搜索超过 100 次实验 按参数对指标进行分组和汇总 无缝切换到平行坐标视图

免责声明：我是贡献者。希望这会有所帮助。