对每个目标使用不同的测试/训练拆分

Posted 2023-03-12

【中文标题】对每个目标使用不同的测试/训练拆分

【英文标题】：Using a different test/train split for each target

【发布时间】：2020-06-04 01:31:30

【问题描述】：

我计划使用包含 3 个感兴趣的目标值的数据集。最终，我将在二元目标上尝试分类方法，并计划对两个独立的连续目标使用回归方法。

对每个目标变量进行不同的训练/测试拆分是一种不好的做法吗？

否则，我不确定如何以允许我分别预测每个目标的方式拆分数据。

【参考方案1】：

如果它们实际上是分别训练和评估的 3 个不同模型，那么为了科学地评估每个模型的性能，是否对每个模型使用不同的测试训练拆分并不重要，因为模型不会泄露任何信息模拟。但是，如果您计划比较 3 个模型的结果或将所有 3 个分数组合成某个聚合指标，那么您可能希望使用相同的测试训练拆分，以便所有 3 个模型都使用相同的训练数据，否则性能每个模型的得分可能在某种程度上取决于其他模型的测试数据，因此您的综合得分在某种程度上将是您的测试数据的函数。