使用自定义转换器子类对 sklearn 管道进行评分时出现 AttributeError，但在拟合时却没有

Posted 2023-03-12

【中文标题】使用自定义转换器子类对 sklearn 管道进行评分时出现 AttributeError，但在拟合时却没有

【英文标题】：AttributeError when scoring sklearn pipeline with custom transformer subclass but not when fitting

【发布时间】：2019-03-30 01:46:13

【问题描述】：

我在理解如何创建 sklearn 转换器的子类时遇到问题。我想为长代码示例道歉，我试图使最小可重现，但无法重新创建错误。希望您会看到大部分代码示例都是我记录的。

转换器在下面的代码sn-p中描述。

class PCAVarThreshSelector(PCA):
"""
Description
-----------
Selects the columns that can explain a certain percentage of the variance in a data set

Authors
-------
Eden Trainor

Notes
-----
1. PCA has a principole component limit of 4459 components, no matter how many more features you put into
it this is a hrad limit of how many components it will return to you.

"""

def __init__(self, 
             n_components=None, 
             copy=True, 
             whiten=False, 
             svd_solver='auto', 
             tol=0.0, 
             iterated_power='auto', 
             random_state=None, 
             explained_variance_thresh = 0.8):


    super(PCAVarThreshSelector, self).__init__(n_components, copy, whiten, svd_solver, tol, iterated_power, random_state)


    self.explained_variance_thresh = explained_variance_thresh

def find_nearest_index(self, array, value):
    """
    Description
    -----------
    Finds the index of the coefficient in an array nearest a certain value.


    Args
    ----
    array: np.ndarray, (number_of_componants,)
        Array containing coeffficients 

    value: int,
        Index of coefficient in array closset to this value is found.


    Returns
    -------
    index: int,
        Index of coefficient in array closest to value.
    """

    index = (np.abs(array - value)).argmin()

    return index

def fit(self, X, y = None):
    """
    Description
    -----------
    Fits the PCA and calculates the index threshold index of the cumulative explained variance ratio array.


    Args
    ----
    X: DataFrame, (examples, features)
        Pandas DataFrame containing training example features

    y: array/DataFrame, (examples,)
        (Optional) Training example labels

    Returns
    -------
    self: PCAVarThreshSelector instance
        Returns transfromer instance with fitted instance variables on training data.
    """

    #PCA fit the dataset
    super(PCAVarThreshSelector, self).fit(X)

    #Get the cumulative explained variance ratio array (ascending order of cumulative variance explained)
    cumulative_EVR = self.explained_variance_ratio_.cumsum()

    #Finds the index corresponding to the threshold amount of variance explained
    self.indx = self.find_nearest_index(array = cumulative_EVR, 
                                    value = self.explained_variance_thresh)


    return self

def transform(self, X):
    """
    Description
    -----------        
    Selects all the principle components up to the threshold variance.


    Args
    ----
    X: DataFrame, (examples, features)
        Pandas DataFrame containing training example features


    Returns
    -------
    self: np.ndarray, (examples, indx)
        Array containing the minimum number of principle componants required by explained_variance_thresh.
    """

    all_components =  super(PCAVarThreshSelector, self).transform(X) #To the sklean limit

    return all_components[:, :self.indx]

我用我的数据测试了这个类，它按预期工作，在一个简单的管道中，前面有一个 RobustScaler。在这个简单的管道中，类将按预期适应和转换。

然后我将简单的管道放入另一个管道中，并带有一个估算器，希望对管道进行 .fit() 和 .score() 处理：

model_pipe = Pipeline([('ppp', Pipeline([('rs', RobustScaler()),
                                    ('pcavts', PCAVarThreshSelector(whiten = True))])),
                  ('lin_reg', LinearRegression())])

管道安装没有错误。但是，当我尝试得分时，我得到一个 AttributeError：

AttributeError                            Traceback (most recent call last)
<ipython-input-92-cf336db13fe1> in <module>()
----> 1 model_pipe.score(X_test, y_test)

~\Anaconda3\lib\site-packages\sklearn\utils\metaestimators.py in <lambda>(*args, **kwargs)
    113 
    114         # lambda, but not partial, allows help() to work with update_wrapper
--> 115         out = lambda *args, **kwargs: self.fn(obj, *args, **kwargs)
    116         # update the docstring of the returned function
    117         update_wrapper(out, self.fn)

~\Anaconda3\lib\site-packages\sklearn\pipeline.py in score(self, X, y, sample_weight)
    484         for name, transform in self.steps[:-1]:
    485             if transform is not None:
--> 486                 Xt = transform.transform(Xt)
    487         score_params = 
    488         if sample_weight is not None:

~\Anaconda3\lib\site-packages\sklearn\pipeline.py in _transform(self, X)
    424         for name, transform in self.steps:
    425             if transform is not None:
--> 426                 Xt = transform.transform(Xt)
    427         return Xt
    428 

<ipython-input-88-9153ece48646> in transform(self, X)
    114         all_components =  super(PCAVarThreshSelector, self).transform(X) #To the sklean limit
    115 
--> 116         return all_components[:, :self.indx]
    117 

AttributeError: 'PCAVarThreshSelector' object has no attribute 'indx'

我最初认为这与我在课堂上调用 super() 的方式有关。根据this 博客文章，我认为当管道被 .score()-ed 时，该类正在重新启动，因此在 fit 方法中创建的属性在评分时不再存在。 我尝试了其他几种调用父类方法的方法，包括：super().method、PCA.method()，以及博文中建议的方法，但都报同样的错误。

我认为博客的解决方案可能是特定于 Python 2 的，而我的代码是在 Python 3 中的。

但是，当尝试以最小可重现此问题的方式重现此错误时，我不再收到该错误。

from sklearn.datasets import make_regression
from sklearn.base import TransformerMixin, BaseEstimator
from sklearn.linear_model import LinearRegression
from sklearn.pipeline import Pipeline

X, y = make_regression() #Just some dummy regression data for demonstrative purposes.

class BaseTransformer(TransformerMixin, BaseEstimator):

    def __init__(self):
        print("Base Init")

    def fit(self, X, y = None):
        return self

    def transform(self, X):
        return X

class DerivedTransformer(BaseTransformer):

    def __init__(self):
        super(DerivedTransformer, self).__init__()
        print("Dervied init")

    def fit(self, X, y = None):
        super(DerivedTransformer, self).fit(X, y)
        self.new_attribute = 0.0001
        return self

    def transform(self, X):
        output = super(DerivedTransformer, self).transform(X)
        output += self.new_attribute

        return output

base_pipeline = Pipeline([('base_transformer', BaseTransformer()),
              ('linear_regressor', LinearRegression())])

derived_pipeline = Pipeline([('derived_transformer', DerivedTransformer()),
              ('linear_regressor', LinearRegression())])

上面的代码按预期运行，没有错误。我不知所措。谁能帮我解决这个错误？

【参考方案1】：

那是因为你没有覆盖（实现）fit_transform() 方法。

只需将以下部分添加到您的PCAVarThreshSelector 即可解决问题：

def fit_transform(self, X, y=None):
    return self.fit(X, y).transform(X)

原因：管道将尝试在所有步骤（不包括最后一个步骤）上首先调用fit_transform() 方法。

这个fit_transform() 方法只是调用fit() 然后transform() 的简写，其定义方式与我在上面的定义相同。

但在某些情况下，如 scikit-learn 中的 PCA 或 CountVectorizer 等，此方法的实现方式有所不同以加快处理速度，因为：

与检查fit() 中的数据然后在transform() 中再次检查相比，检查/验证（和转换）数据到适当的形式只进行一次 其他一些重复性任务可以轻松简化

由于您从 PCA 继承，当您调用 model_pipe.fit() 时，它使用来自 PCA 的 fit_transform()，因此永远不会转到您定义的 fit() 方法（因此您的类对象永远不会包含任何 indx 属性。

但是当您调用score() 时，只有transform() 在管道的所有中间步骤上被调用并转到您实现的transform()。因此出现错误。

如果您在 BaseTransformer 中实现 fit_transform() 的方式稍有不同，则可以重现您关于 BaseTransformer 和 DerivedTransformer 的示例。

【讨论】：

你这个天使！工作就像一个魅力，很好的解释，感谢您抽出宝贵的时间！