Keras-Tuner：是不是可以在目标/度量函数中使用测试/验证集？

Posted 2023-02-23

【中文标题】Keras-Tuner：是不是可以在目标/度量函数中使用测试/验证集？

【英文标题】：Keras-Tuner: Is it possible to use test/validation set in the objective/metric function?Keras-Tuner：是否可以在目标/度量函数中使用测试/验证集？

【发布时间】：2021-09-08 15:02:58

【问题描述】：

是否可以根据测试集而不是训练集使用keras-tuner 对模型性能进行评分/评估？我问这个，因为到目前为止，我的理解是在tuner.search() 中用作目标的度量函数仅使用y_true 和y_pred 作为输入参数，它们都指的是训练集（正确如果我错了，我）。 那么如何在度量函数中使用测试数据呢？

【参考方案1】：

简短回答：您不能，也不应该在超参数调优期间使用测试数据指标。 KerasTuner 允许您使用验证数据指标作为目标，我鼓励这样做。但是，最终测试应始终在所有调整和训练完成后进行，并且不应使用任何训练或验证数据。

要使用验证指标，只需告诉 KT 其目标是名称中以 val 开头的东西。