如何在 scikit-learn 中使用管道调整自定义内核函数的参数

Posted

技术标签:

【中文标题】如何在 scikit-learn 中使用管道调整自定义内核函数的参数【英文标题】:how to tune parameters of custom kernel function with pipeline in scikit-learn 【发布时间】:2017-09-14 04:48:39 【问题描述】:

目前我已经使用 def 函数成功定义了一个自定义内核函数(预先计算内核矩阵),现在我正在使用 GridSearchCV 函数来获取最佳参数。

所以,在自定义核函数中,总共有 2 个参数需要调整(即下例中的 gamm 和 sea_gamma),以及对于 SVR 模型,cost c参数也必须调整。但到现在为止,我只能使用 GridSearchCV 调整 cost c 参数 -> 请参阅下面的第 I 部分:示例。

我已经搜索了一些类似的解决方案,例如:

Is it possible to tune parameters with grid search for custom kernels in scikit-learn?

它说“一种方法是使用 Pipeline、SVC(kernel='precomputed') 并将您的自定义内核函数包装为 sklearn 估计器(BaseEstimator 和 TransformerMixin 的子类)) .“但这与我的案例和问题仍然不同,但是,我尝试根据此解决方案解决问题,但到目前为止它没有打印任何输出,甚至没有任何错误。 -> 请参考第二部分:使用管道的解决方案。

第一部分:示例->我在网格搜索中的原始自定义内核和评分方法是:

    import numpy as np
    import pandas as pd
    import sklearn.svm as svm
    from sklearn import preprocessing,svm, datasets
    from sklearn.preprocessing import StandardScaler,  MaxAbsScaler
    from sklearn.metrics.pairwise import rbf_kernel
    from sklearn.grid_search import GridSearchCV
    from sklearn.svm import SVR
    from sklearn.pipeline import Pipeline
    from sklearn.metrics.scorer import make_scorer

    # weighting the vectors
    def distance_scale(X,Y):
        K = np.zeros((X.shape[0],Y.shape[0]))
        gamma_sea =192

        for i in range(X.shape[0]):
            for j in range(Y.shape[0]):
                dis = min(np.abs(X[i]-Y[j]),1-np.abs(X[i]-Y[j]))
                K[i,j] = np.exp(-gamma_sea*dis**2)
        return K

    # custom RBF kernel : kernel matrix calculation 
    def sea_rbf(X,Y):
        gam=1
        t1 = X[:, 5:6]
        t2 = Y[:, 5:6]
        X = X[:, 0:5]
        Y = Y[:, 0:5]
        d = distance_scale(t1,t2)
        return rbf_kernel(X,Y,gamma=gam)*d

    def my_custom_loss_func(y_true, y_pred):
        error=np.abs((y_true - y_pred)/y_true)
        return np.mean(error)*100

    my_scorer = make_scorer(my_custom_loss_func,greater_is_better=False)


    # Generate sample data 
    X_train=np.random.random((100,6))
    y_train=np.random.random((100,1))
    X_test=np.random.random((40,6))
    y_test=np.random.random((40,1))
    y_train=np.ravel(y_train)
    y_test=np.ravel(y_test)

    # scale the input and output in training data set, also scale the input                                         
    #in testing data set
    max_scale = preprocessing.MaxAbsScaler().fit(X_train)
    X_train_max = max_scale.transform(X_train)
    X_test_max = max_scale.transform(X_test)
    max_scale_y = preprocessing.MaxAbsScaler().fit(y_train)
    y_train_max = max_scale_y.transform(y_train)

    #precompute the kernel matrix
    gam=sea_rbf(X_train_max,X_train_max)

    #grid search for the model with the custom scoring method, but can only tune the *cost c* parameter in this case.
    clf= GridSearchCV(SVR(kernel='precomputed'),
                       scoring=my_scorer,
                       cv=5,
                       param_grid="C": [0.1,1,2,3,4,5]
                                   )

    clf.fit(gam, y_train_max)
    print(clf.best_params_)
    print(clf.best_score_)
    print(clf.grid_scores_)

第二部分:管道解决方案

from __future__ import print_function
from __future__ import division

import sys

import sklearn
from sklearn.base import BaseEstimator, TransformerMixin
from sklearn.pipeline import Pipeline

# Wrapper class for the custom kernel RBF_kernel
class RBF2Kernel(BaseEstimator,TransformerMixin):

    def __init__(self, gamma=1,sea_gamma=20):
        super(RBF2Kernel,self).__init__()
        self.gamma = gamma
        self.sea_gamma = sea_gamma

        def fit(self, X, y=None, **fit_params):
        return self
   #calculate the kernel matrix
    def transform(self, X):
        self.a_train_ = X[:, 0:5]
        self.b_train_ = X[:, 0:5]
        self.t1_train_ = X[:, 5:6]
        self.t2_train_ = X[:, 5:6]
        sea=16
        K = np.zeros((t1.shape[0],t2.shape[0]))

        for i in range(self.t1_train_.shape[0]):
             for j in range(self.t2_train_.shape[0]):
                    dis = min(np.abs(self.t1_train_[i]*sea-        self.t2_train_[j]*sea),sea-np.abs(self.t1_train_[i]*sea-self.t2_train_[j]*sea))
                    K[i,j] = np.exp(-self.gamma_sea *dis**2)
        return K

        return rbf_kernel(self.a_train_ , self.b_train_, gamma=self.gamma)*K

def main():

    print('python: '.format(sys.version))
    print('numpy: '.format(np.__version__))
    print('sklearn: '.format(sklearn.__version__))

    # Generate sample data
    X_train=np.random.random((100,6))
    y_train=np.random.random((100,1))
    X_test=np.random.random((40,6))
    y_test=np.random.random((40,1))
    y_train=np.ravel(y_train)
    y_test=np.ravel(y_test)


    # Create a pipeline where our custom predefined kernel RBF2Kernel
    # is run before SVR.

    pipe = Pipeline([
        ('sc', MaxAbsScaler()),    
        ('rbf2', RBF2Kernel()),
        ('svm', SVR()),
    ])

    # Set the parameter 'gamma' of our custom kernel by
    # using the 'estimator__param' syntax.
    cv_params = dict([
        ('rbf2__gamma', 10.0**np.arange(-2,2)),
        ('rbf2__sea_gamma', 10.0**np.arange(-2,2)),
        ('svm__kernel', ['precomputed']),
        ('svm__C', 10.0**np.arange(-2,2)),
    ])

    # Do grid search to get the best parameter value of 'gamma'.
    # here i am also trying to tune the parameters of the custom kernel
    model = GridSearchCV(pipe, cv_params, verbose=1, n_jobs=-1,scoring=my_scorer)
    model.fit(X_train, y_train)
    y_pred = model.predict(X_test)

    acc_test = mean_absolute_error(y_test, y_pred)
    mape_100 =  my_custom_loss_func (y_test, y_pred)

    print("Test accuracy: ".format(acc_test))
    print("mape_100: ".format(mape_100))
    print("Best params:")
    print(model.best_params_)
    print(model.grid_scores_)

if __name__ == '__main__':
    main()

所以,总结一下:

    该示例运行良好,但它可以调整默认参数(在本例中为成本参数) 我想调整自定义内核中的额外参数,我已在第一部分中将其定义为函数。 scikit-learn 或 python 对我来说还是很新的,如果解释不清楚,请让我知道如果您对细节有任何疑问。

非常感谢您的阅读,希望冗长的描述能让您更清楚一点,欢迎所有建议:)

【问题讨论】:

你能再解释一下,你真正想要做什么吗? 您好,感谢您的评论,实际上,我想使用管道调整自定义内核函数的参数,请参阅第二部分,这是我到目前为止所做的,但该解决方案无法打印任何结果。 好吧,浏览一下您的代码,它看起来是正确的。你说,它不能打印任何结果,你指的是哪一行。这个 - ?print(model.best_params_) 是的,到目前为止,我刚刚收到消息:python: 3.6.0 |Anaconda 4.3.1 (64-bit)| (默认,2016 年 12 月 23 日,11:57:41)[MSC v.1900 64 位(AMD64)] numpy:1.11.3 sklearn:0.18.1 为 64 个候选者中的每一个拟合 3 折,总共 192 次拟合 我想我在 def transform(self, X): 部分遇到了无限循环,当我尝试调试细节时 【参考方案1】:

使用函数包装模型:

def GBC(self):
        model = GradientBoostingRegressor()
        p = ['learning_rate':[[0.0005,0.01,0.02,0.03]],'n_estimators':[[for i in range(1,100)]],'max_depth':[[4]]]
        return model,p

然后通过参数网格用内核对其进行测试:

def kernel(self,model,p):
        parameter = ParameterGrid(p)
        clf = GridSearchCV(model, parameter, cv=5, scoring='neg_mean_squared_error',n_jobs=2)
        clf.fit(X,Y)

使用这种方法,您可以在不同的函数上管理函数的种类及其超参数集,直接在 main 中调用函数

a = the_class()
a.kernel(a.GBC())

【讨论】:

非常感谢您提出的解决方案,实际上,我已经用非常相似的方法解决了这个问题:)【参考方案2】:

从稍微不同的角度解决问题 - 使用 auto-sklearn 进行自动参数调整怎么样?它是 sklearn 的直接替代品,通常比手动调整参数做得更好。

【讨论】:

感谢解答,参数调优是个大问题,基于此,我写了一个函数调参,也不错

以上是关于如何在 scikit-learn 中使用管道调整自定义内核函数的参数的主要内容,如果未能解决你的问题,请参考以下文章

如何在 scikit-learn 管道中的 CountVectorizer 之前包含 SimpleImputer?

如何在 scikit-learn 的管道中对变换参数进行网格搜索

管道中的 Scikit-Learn FunctionTransformer 没有其他功能 - 不返回原始数据?

scikit-learn:在管道中使用 SelectKBest 时获取选定的功能

如何从 scikit-learn 中的 TransformedTargetRegressor 管道中的经过训练的估计器访问属性?

如何在 scikit-learn 管道中将时代添加到 Keras 网络