您将如何使用 Sklearn 的 VotingClassifier 进行 RandomizedSearchCV？

Posted 2023-03-12

【中文标题】您将如何使用 Sklearn 的 VotingClassifier 进行 RandomizedSearchCV？

【英文标题】：How would you do RandomizedSearchCV with VotingClassifier for Sklearn?

【发布时间】：2016-06-02 16:13:18

【问题描述】：

我正在尝试调整我的投票分类器。我想在 Sklearn 中使用随机搜索。但是，由于我目前使用两种算法（不同的树算法），您如何为我的投票分类器设置参数列表？ 我是否必须单独运行随机搜索并稍后在投票分类器中将它们组合在一起？

有人可以帮忙吗？代码示例将不胜感激:)

谢谢！

【参考方案1】：

您可以完美地结合两者，VotingClassifier 和 RandomizedSearchCV。 无需单独运行它们。请参阅文档：http://scikit-learn.org/stable/modules/ensemble.html#using-the-votingclassifier-with-gridsearch

诀窍是在您的 params 列表前加上您的估算器名称。例如，如果您创建了一个RandomForest 估计器，并且您将其创建为('rf',clf2)，那么您可以以<name__param> 的形式设置其参数。具体示例：rf__n_estimators: [20,200]，因此您可以引用特定的估算器并设置值来测试特定的参数。

准备测试可执行代码示例；）

import numpy as np
from sklearn.ensemble import RandomForestClassifier
from sklearn.ensemble import VotingClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn.grid_search import RandomizedSearchCV

X = np.array([[-1, -1], [-2, -1], [-3, -2], [1, 1], [2, 1], [3, 2]])
y = np.array([1, 1, 1, 2, 2, 2])

clf1 = DecisionTreeClassifier()
clf2 = RandomForestClassifier(random_state=1)

params = 'dt__max_depth': [5, 10], 'rf__n_estimators': [20, 200],


eclf = VotingClassifier(estimators=[('dt', clf1), ('rf', clf2)], voting='hard')

random_search = RandomizedSearchCV(eclf, param_distributions=params,n_iter=4)
random_search.fit(X, y)
print(random_search.grid_scores_)

【讨论】：

太好了，感谢 Guiem 提供详细的答案和代码示例 :)