为啥 ColumnTransformer 中的 SimpleImputer 会创建额外的列？

Posted 2023-03-12

【中文标题】为啥 ColumnTransformer 中的 SimpleImputer 会创建额外的列？

【英文标题】：Why is SimpleImputer in ColumnTransformer creating additional Columns?为什么 ColumnTransformer 中的 SimpleImputer 会创建额外的列？

【发布时间】：2021-07-18 20:50:07

【问题描述】：

我正在关注 Aurelion Geron 的机器学习书籍。

我正在试验ColumnTransformer 类。当我包含SimplerImputer 时，会创建一个额外的列。我知道SimplerImputer 用于填充total_bedrooms 列中的缺失值（结果中的列索引4），因此我不清楚它为什么要在结果中添加新列（列索引：10）。

当我不包括 SimplerImputer 来自ColumnTransformer，但创建一个实例，而fit_transform 是ColumnTransformer 的输出，我不会得到额外的列。请指教。

category_att = X.select_dtypes(include='object').columns
num_att = X.select_dtypes(include='number').columns

transformer = ColumnTransformer(
    [
    ('adder', AttributeAdder(), num_att ),
    ('imputer', SimpleImputer(strategy='median'), ['total_bedrooms']),
    ('ohe', OneHotEncoder(), category_att)
    ],
    remainder = 'passthrough'
)

用于添加两个新功能/列的自定义类

class AttributeAdder(BaseEstimator, TransformerMixin):
    
    def __init__(self, add_bed_room = False):
        self.add_bed_room = add_bed_room
    
    def fit(self,y=None):
        return self
    
    def transform(self,X,y=None):
        
        room_per_household = X.iloc[: , t_room ] / X.iloc[: , t_household ]
        population_per_household = X.iloc[: , t_population ] / X.iloc[: , t_household ]
        return np.c_[X,room_per_household,population_per_household]

结果

【参考方案1】：

为什么

不完全是SimpleImputer；这是ColumnTransformer 本身。 ColumnTransformer 并行应用其转换器，而不是按顺序应用（另请参阅[1]、[2]），因此如果将一列传递给多个转换器，您将在输出中多次使用该列。在您的情况下，输出第 4 列来自 total_bedrooms 上的 "adder"（它什么也没做，所以仍然有缺失值），输出第 10 列来自 "imputer"（因此不会有缺失值）。

修复

在这种特殊情况下，两种方法似乎最简单。

推算一切

您的任何没有缺失的数字特征都不会受到影响。但是，如果您希望管道在具有缺失值的 future 数据上出错，请不要这样做。

num_pipe = Pipeline([
    ("add_feat", AttributeAdder()),
    ("impute", SimpleImputer(strategy="median")),
])
transformer = ColumnTransformer(
    [
        ('num', num_pipe, num_att),
        ('cat', OneHotEncoder(), category_att),
    ],
    remainder = 'passthrough',
)

较小的变压器柱组

由于您实际上并不需要您的 total_bedrooms 列作为您的 AttributeAdder，因此您无需将其传递到该转换器。具体情况取决于您如何使用t_rooms、t_households 等，但通常：

transformer = ColumnTransformer(
    [
        ('adder', AttributeAdder(), [["total_rooms", "households", "population"]]),
        ('imputer', SimpleImputer(strategy='median'), ['total_bedrooms']),
        ('ohe', OneHotEncoder(), category_att)
    ],
    remainder = 'passthrough'  # now you're relying on this one much more
)

在相关方法中，您可以更灵活地计算添加的特征。更改您的AttributeAdder 以返回只是新功能（不要在transform 的最后一步连接到X），并依靠ColumnTransformer 传递这些功能。 （请注意，我们不能依赖remainder，但我们可以使用"passthrough" 作为转换器之一。）

class AttributeAdder(BaseEstimator, TransformerMixin):
    ...
    def transform(self,X,y=None):
        ...
        return np.c_[room_per_household,population_per_household]


transformer = ColumnTransformer(
    [
        ('adder', AttributeAdder(), num_att),
        ('num', "passthrough", num_att.drop(['total_bedrooms'])),
        ('imputer', SimpleImputer(strategy='median'), ['total_bedrooms']),
        ('ohe', OneHotEncoder(), category_att)
    ],
    passthrough=True,  # if you have columns in neither of num_att and category_att that you want kept
)