通过循环通过 train_test_split 训练模型并在不循环的情况下进行训练

Posted 2023-02-23

【中文标题】通过循环通过 train_test_split 训练模型并在不循环的情况下进行训练

【英文标题】：Training a model by looping through the train_test_split and training without looping

【发布时间】：2020-05-19 00:19:09

【问题描述】：

我是 python 和 Keras 的新手，请耐心等待我的问题。

我最近在 Keras 中创建了一个模型，对其进行了训练并获得了“均方误差 MSE”后预测。我在使用的数据集上使用了 train_test_split 函数。

接下来，我创建了一个包含 50 次迭代的 while 循环，并将其应用于上述模型。但是，我将 train_test_split 函数（未指定 *random_number）保留在循环中，这样在每次迭代中我都会有一组新的 X_train、y_train、X_test 和 y_test 值。我获得了 50 个 MSE 值作为输出并计算了它们的“平均值”和“标准”偏差。 我的问题是通过将 train_test_split 函数放在循环中，我做对了吗？这是否会影响我的目标，即查看为我的数据集生成的不同 MSE 值？

如果我将 train_test_split 函数放在我的 while 循环之外并执行上述活动，那么 X_train、y_train、X_test 和 y_test 值在我的所有 50 次迭代中不会保持不变吗？这不会导致我的模型出现过拟合问题吗？

非常感谢您的反馈。

我的代码sn-p：

from sklearn.model_selection import train_test_split
from sklearn import metrics
import numpy as np

MSE=np.zeros(50)

for i in range(50):
    predictors_train,predictors_test,target_train,target_test=train_test_split(predictors,target,test_size=0.3)
    model=regression_model()
    model.fit(predictors_train,target_train,validation_data=(predictors_test,target_test),epochs=50,verbose=0)
    model.evaluate(predictors_test,target_test, verbose=0)
    target_predicted=model.predict(predictors_test)
    MSE[i]=metrics.mean_squared_error(target_test, target_predicted)
    print("Test set MSE for  cycle:".format(i+1,MSE[i]))

【问题讨论】：

regression_model() 是什么？

您好，很高兴收到您的来信。 Regression_model() 是我定义的一个函数，它包含我的 Keras 网络，该网络由 2 个密集层和 10 个节点组成，每个节点都有 adam 作为优化，mse 作为损失参数。

【参考方案1】：

您正在实施的方法称为交叉验证，它可以让您的模型更好地“查看”您的数据，并减少您的训练数据“过于完美”或“过于嘈杂”的可能性。

因此，将您的 train_test_set 放入循环中将从您的原始数据生成新的训练批次，并且意味着您将获得您想要的输出。 如果你把 train_test_set 放在外面，这批训练数据将在你的所有训练循环中保持不变，导致你说的过拟合。

但是train_test_split是随机的，所以你可以有两个随机批次，很有可能，所以这个方法不是最优的。

更好的方法是使用 k 折交叉验证：

from sklearn.model_selection import StratifiedKFold

kfold = StratifiedKFold(n_splits=10, shuffle=True, random_state=seed)

MSE = []

for train, test in kfold.split(X, Y):

   model = regression_model()
   model.fit(X[train],y[train],validation_data= (X[test],y[test]),epochs=50,verbose=0)
   model.evaluate(X[test],y[test], verbose=0)
   target_predicted = model.predict(predictors_test)
   MSE.append(metrics.mean_squared_error(y[test], target_predicted))
   print("Test set MSE for  cycle:".format(i+1,MSE[i]))

print("Mean MSE for -fold cross validation : ".format(len(MSE), np.mean(MSE)) 

此方法将创建 10 倍的训练数据，并在每次迭代中使用不同的数据来拟合您的模型。

您可以在这里获得更多信息：https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.StratifiedKFold.html

希望对你有帮助！

精确编辑

确实不要对您的 TEST 数据使用此方法，而仅对您的 VALIDATION 数据使用此方法！ 您的模型之前绝不能看到您的 TEST 数据！

【讨论】：

感谢您回复我的查询。你的回答成功了:-)

【参考方案2】：

您根本不想在训练期间使用测试集。您将模型调整到甚至会开始“过度拟合”测试集的程度，并且您的错误估计将过于乐观。

是的，如果您将 train_test_split 放在该 for 循环之外，您的集合将在整个训练中保持不变，并且可能导致过度拟合。这就是为什么您拥有不用于训练而是用于验证的验证集，主要是为了找出您的模型是否过度拟合训练集。如果它是过拟合的，你应该通过调整你的模型来解决它（降低它的复杂性，实现正则化，提前停止......）。

但不要在用于测试的相同数据上训练您的模型。在验证集上训练数据是另一回事，通常在实施 K 折交叉验证时使用。

所以要遵循的一般步骤是：

将您的数据集拆分为测试集和“其他”集，将测试集放在一边，在您准备好进行最终测试之前不要将其显示给您的模型 => 仅在您已经训练和调整后你的模型

选择是否要实施 k 折交叉验证。如果没有，则将您的数据拆分为训练集和验证集，并在整个训练过程中使用它们 => 训练集用于训练，验证集用于验证

如果您想实现 k 折交叉验证，请按照步骤 2，测量您要跟踪的错误度量，再次选择另一组，将其拆分为不同的训练集和验证集，并再次进行整个训练。重复多次，并取这些周期中测量的误差指标的平均值，以获得更好的（平均）误差估计

调整模型并重复步骤 2 和 3，直到您对结果满意为止

测量你的最终模型在测试集上的误差，看看它是否泛化得很好

请注意，虽然实现 k 折交叉验证通常是一个好主意，但这种方法对于大型神经网络可能不可行，因为它会显着增加训练它们所需的时间。如果是这种情况，您可能只想坚持使用一个训练集和一个验证集，或者将 k（k 倍）设置为某个较低的数字，例如 3。

【讨论】：

感谢您回复我的查询。我使用测试集来拟合我的模型，并使用训练集来评估和预测我的模型。我猜我的模型的当前状态代表一个 k 倍 k=50，因为我的 train_test_split 在我的 while 循环内。

您的问题是您正在 for 循环内部进行拆分，并且测试集是随机挑选的。在一次迭代中，一些原本应该仅用于测试的数据被用于训练。这是一个非常糟糕的主意。在您完成训练和调优之前，您的模型不应看到来自测试集的任何观察结果。

是的，您的权利每次迭代都会在创建训练集和测试集时随机打乱数据集。这意味着当 50 次迭代完成时，我的模型很有可能已经看到了我整个数据集中的几乎所有观察结果。在这种情况下，这意味着过度拟合的可能性很大。但是，即使我将拆分放在循环之外，我也会导致过度拟合问题，因为对于每次迭代，训练和测试集都是固定的？

这不是必要的过拟合，它更像是一种偏差 => 你的模型更偏向于固定数据集，这可能会导致过拟合。不过，您对抗过度拟合的方法是通过正则化技术 => 对模型施加更多约束、提前停止、选择不太复杂的模型、添加丢弃层等。而不是通过切换训练数据集（除非您正在构建模型集合，在这种情况下它是一种有效的方法）。

感谢您帮助我 :-) 我有一个想法在我脑海中挥之不去。在 train_test_split 在循环内的当前场景中，它的行为似乎与 K 为 50 的 K 折叠交叉验证方法类似。我做出这个假设是否正确？