机器学习项目流程选择并训练模型

Posted 2021-03-09 zackstang

选择并训练模型

至此，我们已明确了问题，并对数据进行了预处理。现在我们选择并训练一个机器学习模型。

 

在训练集上训练模型

这个过程相对来说较为简单，我们首先训练一个线性回归模型：

from sklearn.linear_model import LinearRegression

lin_reg = LinearRegression()
lin_reg.fit(housing_prepared, housing_labels)

这样就已完成了一个线性回归模型的训练，非常简单。我们从训练集里抓几条数据验证一下：

sample_data = housing.iloc[:5]
sample_labels = housing_labels.iloc[:5]

sample_data_prepared = full_pipeline.transform(sample_data)
lin_reg.predict(sample_data_prepared)
>array([210644.60459286, 317768.80697211, 210956.43331178,  59218.98886849, 189747.55849879])

list(sample_labels)
>[286600.0, 340600.0, 196900.0, 46300.0, 254500.0]

可以看到预测的精准度并不高，我们可以看一下这个模型的RMSE（均方误差）的大小：

from sklearn.metrics import mean_squared_error

housing_predictions = lin_reg.predict(housing_prepared)
lin_mse = mean_squared_error(housing_labels, housing_predictions)
lin_rmse = np.sqrt(lin_mse)
>68628.19819848923

从均方误差的大小来看，这并不是一个很好的结果，说明模型存在欠拟合。在遇到欠拟合时，说明：

1. 这些特征没有提供足够的信息给模型，导致无法学习到准确的预测模型
2. 模型本身不适用这个数据集

一般我们可以采取以下方式解决欠拟合问题：

1. 选择一个更强大更合适的模型
2. 给训练集构造更好的属性特征
3. 减少模型的限制（例如加了正则化导致欠拟合）

在这个场景下，模型没有使用L1/L2 正则，所以先排除第3点。对于第二点，我们可以尝试加更多的属性（例如population的对数），不过这里我们首先尝试第一个方法，选择另一个更复杂的模型试试。

下面我们试试决策树，决策树模型擅长发现复杂的非线性关系：

from sklearn.tree import DecisionTreeRegressor

tree_reg = DecisionTreeRegressor()
tree_reg.fit(housing_prepared, housing_labels)

housing_predictions = tree_reg.predict(housing_prepared)
tree_mse = mean_squared_error(housing_labels, housing_predictions)
tree_rmse = np.sqrt(tree_mse)
tree_rmse
>0.0

可以看到此模型做出预测后，RMSE的结果是0.0。说明这个模型在训练集工作良好，但也有过拟合的可能。为了进一步判断是否过拟合，我们需要用测试集对它进行评估与验证。

 

使用交叉验证

其中一种评估决策树模型的方法是用train_test_split() 将训练集划分为一个更小的训练集以及一个验证集（validation set）。然后使用训练集训练模型，并使用验证集评估模型。

不过另一个更好的办法是使用K-折交叉验证（K-fold cross-validation），这个在sklearn 中也提供了。下面的代码会将训练集随机划分成10个互斥子集（每个子集称为一个fold，这里k=10，也是默认常用的k值），然后训练并评估模型10次，每次均取9个子集的并集作为训练数据，剩下的1个子集作为验证集。最终结果会包含10次validation 的分值：

from sklearn.model_selection import cross_val_score

scores = cross_val_score(tree_reg, housing_prepared, housing_labels,
                         scoring="neg_mean_squared_error", cv=10)
tree_rmse_scores = np.sqrt(-scores)

tree_rmse_scores
>array([67669.73816437, 67362.61970456, 70229.34328631, 68299.62160307,

       71291.36213287, 75577.59634532, 72668.53981039, 70226.23940832,

       77010.86953522, 69438.29976359])

这里我们在scoring 参数那里指定了一个neg_mean_squared_error，而不是我们之前提到的正均方误差。这是因为sklearn的交叉验证方法需要传入的是一个效应函数（utility function，值越大越好）而不是一个损失函数（cost function，值越小越好）。所以scoring function 这里指定的是均方误差的负数。

我们看一下结果：

def display_scores(scores):
    print("Scores:", scores)
    print("Mean:", scores.mean())
    print("Standard deviattion:", scores.std())

display_scores(tree_rmse_scores)
>Scores: [69462.00181424 67609.32626575 70422.57362602 69319.8112669
 71825.7583015  75264.10640903 72395.84019687 71141.89336673
 76759.56875965 68894.22449779]

 Mean: 71309.51045044875

 Standard deviattion: 2729.4780010832424

可以看到决策树现在的rmse 的结果并没有之前好了（之前在训练集上的 rmse 为0），并且结果比线性回归的结果还要差。通过交叉验证我们可以获得多次评估的平均值，并且！还能知道这个评估的精准度（也就是标准差）。随机数的rmse大约为 71309，一般是±2729（这个变动区间里）。

接下来我们计算一下线性回归的交叉验证结果：

lin_scores = cross_val_score(lin_reg, housing_prepared, housing_labels,
                            scoring="neg_mean_squared_error", cv=10)
lin_rmse_scores = np.sqrt(-lin_scores)

 
display_scores(lin_rmse_scores)
>Scores: [66782.73843989 66960.118071   70347.95244419 74739.57052552
 68031.13388938 71193.84183426 64969.63056405 68281.61137997
 71552.91566558 67665.10082067]

 Mean: 69052.46136345083

 Standard deviattion: 2731.674001798344

可以看到线性回归的效果确实略好于决策树。而决策树在第一次训练集上的rsme 的值为0的现象，充分说明了决策树存在严重过拟合。

最后我们试试另一个模型：随机森林。随机森林的方法是：在多个随机子集上训练多个决策树，然后取它们预测值的平均值。根据多个模型而构造一个机器学习模型的方法称为集成学习，这是一个非常有效的手段，可以让机器学习算法更强大。下面是随机森林的表现：

from sklearn.ensemble import RandomForestRegressor
 

forest_reg = RandomForestRegressor()
forest_reg.fit(housing_prepared, housing_labels)
forest_prediction = forest_reg.predict(housing_prepared)
forest_rmse = np.sqrt(mean_squared_error(housing_labels, forest_prediction))

forest_rmse
>22260.03021330574

 
forest_scores = cross_val_score(forest_reg, housing_prepared, housing_labels,
                               scoring=‘neg_mean_squared_error‘, cv=10)
forest_rmse_scores = np.sqrt(-forest_scores)

display_scores(forest_rmse_scores)
>Scores: [52997.8760788  49958.86106325 52721.44943885 55406.53413082
 51444.10657159 55939.86344122 50784.56562956 50979.4567054
 56421.26248695 53300.44123253]

 Mean: 52995.44167789745

 Standard deviattion: 2167.186371913895

可以看到效果明显好了很多，随机森林的效果看起来很不错。不过，需要注意的是：在训练集上的均方误差仍远小于验证集的均方误差，说明这个模型在训练集上仍存在过拟合的问题。在这个问题中，我们可以采用以下方式缓解过拟合：

• 简化模型，减少模型复杂度
• 添加限制，例如正则项
• 获取更多的训练数据

当然，在进一步调优随机森林模型之前，我们仍应该尝试一下其他机器学习算法（例如SVM+不同的kernel、神经网络等等），看看这些模型的表现结果（并不需要调参）。我们的目标是：找出几个（2到5个）可能效果还不错的模型。再进行下一步调优。

建议大家每次都要保存训练好的模型，这样之后可以很快的找到想要的模型。在保存时，需要确保保存了超参数、训练时的参数、以及交叉验证的所有结果、（可能）以及预测后的结果。这样我们在之后进行不同模型对比时，节省不少时间。我们可以通过 Python 的 pickle 模块保存 sk-learn 的模型。或是使用更高效的sklearn.extenals.joblib，它的性能更好（会序列化大型NumPy 数组）：

from sklearn.externals import joblib

joblib.dump(forest_reg, "my_model.pkl")

#load model if necessary
my_model_loaded = joblib.load("my_model.pkl")

至此，我们已介绍了机器学习模型的训练，下面我们会继续介绍模型的调优。