如何在 scikit-learn 中实现多项式逻辑回归?
Posted
技术标签:
【中文标题】如何在 scikit-learn 中实现多项式逻辑回归?【英文标题】:How to implement polynomial logistic regression in scikit-learn? 【发布时间】:2019-09-20 01:52:32 【问题描述】:我正在尝试创建一个非线性逻辑回归,即使用 scikit-learn 的多项式逻辑回归。但我找不到如何定义多项式的次数。有人试过吗? 非常感谢!
【问题讨论】:
【参考方案1】:为此,您需要分两步进行。让我们假设您正在使用 iris 数据集(因此您有一个可重现的示例):
from sklearn.datasets import load_iris
from sklearn.linear_model import LogisticRegression
from sklearn.preprocessing import PolynomialFeatures
from sklearn.model_selection import train_test_split
from sklearn.pipeline import Pipeline
data = load_iris()
X = data.data
y = data.target
X_train, X_test, y_train, y_test = train_test_split(X, y)
第一步
首先,您需要将数据转换为多项式特征。最初,我们的数据有 4 列:
X_train.shape
>>> (112,4)
您可以使用 scikit learn 创建多项式特征(这里是 2 级):
poly = PolynomialFeatures(degree = 2, interaction_only=False, include_bias=False)
X_poly = poly.fit_transform(X_train)
X_poly.shape
>>> (112,14)
我们知道有 14 个特征(原来的 4 个、它们的正方形和 6 个交叉组合)
第 2 步
在此您现在可以调用X_poly
构建逻辑回归
lr = LogisticRegression()
lr.fit(X_poly,y_train)
注意:如果您想在测试数据上评估您的模型,您还需要按照以下两个步骤进行操作:
lr.score(poly.transform(X_test), y_test)
将所有内容放在管道中(可选)
您可能希望使用 Pipeline 代替在一个对象中处理这两个步骤以避免构建中间对象:
pipe = Pipeline([('polynomial_features',poly), ('logistic_regression',lr)])
pipe.fit(X_train, y_train)
pipe.score(X_test, y_test)
【讨论】:
非常感谢您的详细解释!以上是关于如何在 scikit-learn 中实现多项式逻辑回归?的主要内容,如果未能解决你的问题,请参考以下文章
在 scikit-learn 中使用具有多项式内核的支持向量分类器
[机器学习与scikit-learn-21]:算法-逻辑回归-多项式非线性回归PolynomialFeatures与代码实现