python-sklearn数据拆分与决策树的实现
Posted 一抹light
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了python-sklearn数据拆分与决策树的实现相关的知识，希望对你有一定的参考价值。
python-sklearn数据拆分与决策树的实现
前言
hello大家好这里是小L😊，上一篇笔记简单复习了sklearn三板斧，学习sklearn数据预处理部分🙌
这次笔记内容:学习sklearn对数据拆分的实现，以及实现决策树模型并绘制决策树。数据集用sklearn内置数据及进行举例🌷。
小L希望可以在这里与大家一起进步！💪
一、数据拆分的sklearn实现
1.拆分为训练集与测试集
如果给定的样本数据充足，进行模型选择的一种简单方法是随机地将数据集切分成三部分，分别为训练集(training set)、验证集(validation set)和测试集(testset).训练集用来训练模型，验证集用于模型的选择，而测试集用于最终对学习方法的评估.在学习到的不同复杂度的模型中，选择对验证集有最小预测误差的模型.由于验证集有足够多的数据，用它对模型进行选择也是有效的.
首先讲解随机种子seed，方便对sklearn.model_selection.train_teat_split()中参数random_state的理解，random可以随机生成数字，但在前面输入设置好的代码则最后生成的随机数将不会改变。
#忽略警告信息（不显示警告信息）
import warnings
warnings.filterwarnings("ignore")
#导入需要的库
import sklearn
import random as r
r.seed(666)#种子，相当于设置/输入密码，使下行代码保持不变
r.random()
🙌sklearn可对数据进行处理但是不能进行可视化
训练集:用于生成模型的
测试集:最终对模型方法进行评估
sklearn.model.selection.train_test_split(
arrays,
test_size=0.25：用于验证模型的样本比例，若为None所有样本参与训练，
train_size=None：用于训练模型的样本比例，None时自动基于test_size计算，
random_state=None：随机种子，
shuffle=True：是否在拆分前对样本进行随机排列（默认洗牌），
stratify=None：array-like or None是否按指定类别标签对数据做分层拆分（分层）
)
一般用参数arrays,test_size,random_stste
#导入波斯顿数据集
from sklearn.datasets import load_boston
boston_df = load_boston()
#导入训练集与测试集拆分模块
from sklearn.model_selection import train_test_split
x_train,x_test,y_train,y_test = train_test_split(boston.data,boston.target,test_size=0.3,random_state=666)
#按3:7拆,用4个变量进行接收数据，以免数据分割后被直接释放
len(x_train),len(x_test),len(y_train),len(y_test)
boston数据集一共有506条数据，按3:7拆分数据集的输入与输出。
2.交叉验证法
但是，在许多实际应用中数据是不充足的，为了选择好的模型，可以采用交叉验证方法.交叉验证的基本想法是重复地使用数据:把给定的数据进行切分，将切分的数据集组合为训练集与测试集，在此基础上反复地进行训练、测试以及模型选择.
(1)留一交叉验证
保留一个数据点进行验证（每个数据点都会验证一次），其余数据训练模型。若有n个数据点，需重复交叉验证n次。
利用所有数据点，适用于数据量特别小时，受离群值影响，一般不用。
(2)验证集验证
保留一个样本数量集（设置比例），其余数据训练模型。只验证一次。结果具有偶然性。
(3)k折交叉验证
随机将数据集分成k份，每一份进行验证，其余数据进行训练，最终结果为k次记录的平均值。k越小越接近验证集法，k越大越接近留一法。
(4)s折交叉验证（s-fold）
超参数，提前设置好。
数据划分为s个互不相交大小相同子集，其中一份测试，其余数据训练。重复进行，忠厚选择s次测试中平均误差最小的模型。
3.sklearn交叉验证常用的命令
(1)将拆分与评价合并执行
拆分与评估合并执行 前三，cv,需要自己先把数据随机打乱
sklearn.model_selection.cross_val_score(
)返回：每轮模型最后评分的数组
#导入线性回归模型
from sklearn.linear_model import LinearRegression
reg=LinearRegression()
#不用实例化，直接就是函数
#导入cross_val_score模块
from sklearn.model_selection import cross_val_score#cross_val_score不会默认洗牌
scores=cross_val_score(reg,boston.data,boston.target,cv=10)
scores#模型效果很差
scores.mean(),scores.std()
scores = cross_val_score(reg,boston.data,boston.target,scoring='explained_variance',cv=10)
scores#使用scoring后模型依旧很糟糕
#对数据进行随机重排，保证拆分的均匀性
import numpy as np#先把序号打乱，再进行赋值
X,y = boston.data,boston.target
indices = np.arange(y.shape[0])#提取行数
np.random.shuffle(indices)#打乱顺序
X,y = X[indices],y[indices]#重新赋值
reg=LinearRegression()
scores=cross_val_score(reg,X,y,cv=10)
scores
scores.mean(),scores.std()
(2)同时使用多个评价指标
同时输出多个指标，精度等,需要自己先把数据随机打乱
sklearn.model_selection.cross_validate(
)返回：每轮模型对应评分的字典，shape=(n_splits,)
from sklearn.model_selection import cross_validate
scoring = ['r2','explained_variance']
scores = cross_validate(reg,X,y,cv=10,scoring=scoring,return_train_score = False)#字典，拟合需要时间,评分时间
scores
scores['test_r2'].mean()
(3)使用交互验证后的模型进行预测
交叉验证和预测同时执行
sklearn.model_selection.cross_val_predict(
)返回ndarray,模型对应的各案例预测值
from sklearn.model_selection import cross_val_predict
pred = cross_val_predict(reg,X,y,cv=10)
pred[:10]#预测因变量的值（y）
from sklearn.metrics import r2_score
r2_score(y,pred)#预测准确率
二、sklearn实现决策树
1.代码实现
class sklearn.tree.DecisionTreeClassifier(
)
- 驼峰原则命名，分类模型
- criterion标准，默认gini
- c4.5熵率
#导入iris数据集
from sklearn.datasets import load_iris
iris = load_iris()
#导入决策树分类模块
from sklearn.tree import DecisionTreeClassifier
#决策树实例化
ct = DecisionTreeClassifier()
#模型训练
ct.fit(iris.data,iris.target)
ct.max_features_
ct.feature_importances_ #特征重要性
ct.predict(iris.data)
from sklearn.metrics import classification_report
print(classification_report(iris.target,ct.predict(iris.data)))
2.绘制决策树
sklearn.tree.export_graphviz(
)可通过改变参数自定义图案， 在graphviz中打开tree.dot文件查看生成的决策树
from sklearn.tree import export_graphviz
export_graphviz(ct,out_file = ' tree.dot',
feature_names=iris.feature_names,
class_names=iris.target_names,filled=True)
#filled=True表示决策树成不同颜色
from sklearn.tree import export_graphviz
export_graphviz(ct,out_file = ' tree01.dot',
feature_names=iris.feature_names,
class_names=iris.target_names,filled=False)
from sklearn.tree import export_graphviz
export_graphviz(ct,out_file = ' tree01.dot',
feature_names=iris.feature_names,
class_names=iris.target_names,
filled=True,rounded = True)
以上是关于python-sklearn数据拆分与决策树的实现的主要内容，如果未能解决你的问题，请参考以下文章