sklearn-分类决策树

Posted 2023-04-05

参考技术A 决策树（1.10.1）
（DecisionTreeClassifier）

参数：

1、criterion : string, optional (default=‘gini’)，衡量一次划分质量的函数。支持的标准是基尼系数“gini”，以及信息增益的熵“ entropy”。

2、splitter : string, optional (default=“best”)，用于在每个节点上选择分割的策略。支持的策略是“best”选择最好的分割和“random”选择最好的随机分割。

3、max_depth : int or None, optional (default=None)，树的最大深度。如果是None，那么节点就会被扩展，直到所有的叶子都是纯的，或者直到所有的叶子包含的样本数都比min_samples_split 少。

4、min_samples_split : int, float, optional (default=2)，分割一个内部节点所需的最小样本数：
1，如果是int，就是min_samples_split
2，如果是float，就是比例，(min_samples_split * n_samples)

5、min_samples_leaf : int, float, optional (default=1)，在叶节点所需要的样本的最小数量：
1，int，最小数量就是min_samples_leaf
2，Float，最小数量就是(min_samples_leaf * n_samples)

6、min_weight_fraction_leaf : float, optional (default=0.)，一个叶子节点所需要的最小权重比例（占所有输入样本的全体权重），当sample_weight不提供时，样本的权重相等。

7、max_features : int, float, string or None, optional (default=None)，在寻找最佳分割时，需要考虑的特征数量。
1，如果是int，每次分割时考虑max_features个特征。
2，如果是float，则max_features是百分比，每次分割时考虑int(max_features * n_features) 个特征。
3，如果是“auto”，max_features=sqrt(n_features)（开平方）。
4，如果是“sqrt”，max_features=sqrt(n_features).
5，如果是“log2”，max_features=log2(n_features).
6，如果是None， max_features=n_features.

8、random_state:int,RandomState instance or None,optional (default= None)，随机数种子。

9、max_leaf_nodes : int or None, optional (default=None)，以最佳优先的方式构建一棵带有max_leaf_nodes个叶节点的树。最好的节点被定义为不纯度的相对减少。如果是None，则不限制叶节点的数量。

10、min_impurity_decrease : float, optional (default=0.)，如果分裂导致的不纯度减少大于等于这个值，那么一个节点将会被分裂。
加权的不纯度减少的公式如下：
N_t / N * (impurity - N_t_R / N_t * right_impurity
- N_t_L / N_t * left_impurity)
N是所有的样本数，N_t是当前节点的样本数，N_t_L是左子树的样本数，N_t_R是右子树的样本数。
如果sample_weight被传值，N, N_t, N_t_R and N_t_L也适用于加权和。

11、min_impurity_split : float,树生长早期停止的阈值，如果一个节点的不纯度高于这个阈值，那么它将会被分裂，否则它就是一个叶子节点。

12、class_weight : dict, list of dicts,“balanced”or None, default= None，权重在class_label: weight这种形式上和类别有联系。如果不给出，所有的类别的权重都被赋值1。对于多输出问题，可以按照与y列相同的顺序提供一个字典列表。
注意，多输出（包括多label）权重将会被定义，为了每个类别的每一列在它自己的字典里。
“balanced”模式，利用y值自动调整权重，和输入数据的类别的频率成反比，n_samples / (n_classes * np.bincount(y))。
对于多输出，y的每一列的权重，将会相乘。
注意，如果指定了sample_weight，这些权重将与sample_weight（通过fit方法）相乘。

13、presort : bool, optional (default=False)，是否要对数据进行预分类，以加快在拟合过程中找到最佳分割的结果。对于大型数据集上决策树的默认设置，将其设置为true可能会减慢训练过程。当使用更小的数据集或限制树深度时，这个参数可能会加快训练速度。

属性：

1、classes_ : array of shape = [n_classes] or a list of such arrays，类标签（单输出问题），或者类标签数组（多输出问题）的列表。

2、feature_importances_ : array of shape = [n_features]，特征重要性。值越高，这个特征就越重要。一个特性的重要性被计算为该特性所带来的（标准的）总体衡量准则的减少。它也被称为基尼系数。

3、max_features_ : int,推断出的max_features的值。

4、n_classes_ : int or list，类别的个数（单输出问题），一个列表包含每个输出的类别的个数（多输出问题）。

5、n_features_ : int，执行ffit时的特征数量。

6、n_outputs_ : int，执行fit时的输出数量。

7、tree_ : Tree object，底层的树对象。

方法：

1、apply(X[, check_input])，返回每个样本所预测的叶子的索引。

2、decision_path(X[, check_input])，返回树中的决策路径。

3、fit(X, y[, sample_weight, check_input, …])，拟合。

4、get_params([deep])，得到参数。

5、predict(X[, check_input])，预测。

6、predict_log_proba(X)，预测输入样本X的对数概率。

7、predict_proba(X[, check_input])，预测输入样本X的概率。

8、score(X, y[, sample_weight])，返回给定测试数据和标签的平均精度。

9、set_params(**params)，设置参数。

在调参的时候首先应该先给定一个随机数种子。
1、criterion选择“gini”和“entropy”对正确率会有轻微的影响。
2、splitter选择“best”和“random”对正确率有轻微的影响。
3、max_depth选择None表示不限制，随着数字的增大，正确率会出现先增大，再达到最大值，然后又略微减少，最后保持不变的变化规律。默认值是收敛之后的值。（保持默认）
4、min_samples_split从默认值2，随着值的增加，acc会震荡减少，但是总体来说影响不大。（保持默认）
5、min_samples_leaf默认1，随着值的增加，正确率逐步减小。（保持默认）
6、min_weight_fraction_leaf取值范围[0,0.5]，默认0，随着值的增加，正确率下降。（保持默认）
7、max_feature，首先，现在None，‘log2’，‘sqrt’，‘auto’之中选择一个正确率最高的。如果觉得满意至此就可以了，如果觉得不满意，可以在正确率最高的选项附近再次进行寻找，找到一个更好的。
8、max_leaf_nodes，随着值的增加acc逐渐增加，达到收敛之后acc不再发生变化，None表示不限制，效果最佳。（保持默认）
9、min_impurity_decrease，随着值的增长，acc逐渐减小，默认值0，acc最大。（保持默认）
10、min_impurity_split，随着值的增加正确率逐渐减少。（保持默认）
11、class_weight，None/balanced，可以切换试一下，对acc影响不大。
12、presort，不影响正确率，影响速度。

使用 sklearn 同时使用数字和分类变量来拟合决策树

【中文标题】使用 sklearn 同时使用数字和分类变量来拟合决策树

【英文标题】：Using both numeric and categorical variables to fit a decision tree using sklearn

【发布时间】：2018-03-14 23:16:02

【问题描述】：

在 sklearn 中对分类变量使用 onehotencoding 时，如何使用稀疏矩阵生成以及其他数值变量来拟合决策树？ 如果我使用 OneHotEncoding 将分类变量转换为稀疏矩阵，那么如何将这个稀疏矩阵与原始数据集中的数值变量结合起来？

【参考方案1】：

任意使用：

OneHotEncoder 带有参数 categorical_features 索引您的功能以进行编码（自动组合您的所有功能） 如果你没有改变sparse=True，结果默认是稀疏的（使用transform） 或者：仅在变量子集上使用 OneHotEncoder 时，将这些值叠加到原始值上： scipy.sparse.hstack((onehot, original)) onehot 的形状为 (n_samples, ?（取决于您的功能），original 的形状为 (n_samples, ?