LabelEncoder 将不同的值编码为相同的值

Posted 2023-03-12

【中文标题】LabelEncoder 将不同的值编码为相同的值

【英文标题】：LabelEncoder encodes different values to same value

【发布时间】：2019-08-19 02:58:38

【问题描述】：

总结： Sklearn 的 。 encoder.fit(data) 和 data_encoded = encoder.transform(data) 可以正确完成，但是当我在转换后立即执行 encoder.inverse_transform(data_encoded) 时，会引发错误：

ValueError：y 包含以前看不见的标签：[19297]

我想做的事：

我有稍微大一点的数据（将近 1.5 GB），而且还会有更多。为了完成机器学习任务，我需要对数据进行标记编码，但我无法在本地笔记本电脑上执行此操作，因为编码器必须查看整个数据才能正确编码，但数据处理起来有点大。

我做了什么：

所以我将整个数据加载到 Google Colab 中，对其进行编码，然后使用 pickle 保存编码器。然后在我的本地 PC 中，我获取了新人数据（要小得多），将编码器加载回来，更新了 encoder.classes_（参见代码部分 1）

然后转换新人数据。然后尝试对其进行逆变换，以确保它正确完成。但它引发了一个错误。 （见第 2 部分）

然后我检查了19297 的值，以查看它的索引与data.loc。获取索引并检查原始数据，发现编码器将不同的值编码为相同的值（不同的值 -> 19297）。任何人都可以帮助解决这个问题吗？坦克很多。

第 1 部分：

with open("data/encoders/item_id_encoder.pkl", 'rb') as file:
    item_encoder = pickle.load(file)
with open("data/encoders/store_id_encoder.pkl", 'rb') as file:
    store_encoder = pickle.load(file)
with open("data/encoders/week_encoder.pkl", 'rb') as file:
    week_encoder = pickle.load(file)

item_classes = set(item_encoder.classes_) 
store_classes = set(store_encoder.classes_)
week_classes = set(week_encoder.classes_)

bar.start()
for row in data.itertuples():
    if row.item_id not in item_classes:
        item_classes.add(row.item_id)
        item_encoder.classes_ = np.append(item_encoder.classes_, row.item_id)
    if row.store_id not in store_classes:
        store_classes.add(row.store_id)
        store_encoder.classes_ = np.append(store_encoder.classes_, row.store_id)
    if row.week not in week_classes:
        week_classes.add(row.week)
        week_encoder.classes_ = np.append(week_encoder.classes_, row.week)
    bar.update(row.Index)
bar.finish()

第 2 部分：

store_ids = store_encoder.transform(data.store_id)
item_ids = item_encoder.transform(data.item_id)
weeks = week_encoder.transform(data.week)

# this raises error
item_encoder.inverse_transform(item_ids)

【问题讨论】：

根据我的经验，这种事情经常会让人感到沮丧。我倾向于使用pandas.get_dummies 或编写我自己的未特别优化的标签编码器。这里有一个关于这个话题的很好的讨论：***.com/questions/21057621/…

@ame 似乎除了编写自己的标签编码器之外别无他法。我只是担心性能问题，因为我不是 python 向导，所以我确信我会尝试用一堆嵌套的 for 循环来做所有事情:)

【参考方案1】：

好吧，我已经实现了一个具有更新功能的标签编码器。你可以：

安装数据编码器以启动编码器。编码器将保存为 pickle 文件。 使用新数据更新编码器 转换和逆变换您的数据

见：https://github.com/emremrah/Lencoder