在 sklearn/pandas 中编码“n 个标签中的 k 个”功能

Posted 2023-03-12

【中文标题】在 sklearn/pandas 中编码“n 个标签中的 k 个”功能

【英文标题】：Encode "k out of n labels" feature in sklearn/pandas

【发布时间】：2016-10-10 09:26:09

【问题描述】：

我有一个特征是一组标签的子集。

>>> labels = ['ini', '', 'pdf', 'flac', 'php']
>>> data = [random.sample(labels, random.randint(0, len(labels))) for _ in range(20)]
>>> data[:5]
[['pdf'], [], ['pdf', 'flac'], ['php', 'pdf', 'ini'], ['', 'php', 'ini']]

我需要一个“k out of n 编码器”来编码这个特性。我尝试使用/破解 OneHotEncoder、LabelEncoder、get_dummies，但无法很好地表示这些数据。可能无法提前知道这组标签。

在纯 python 中，（慢）实现可能是 -

>>>> feature_space = sorted(list(set(sum(data, []))))
>>>> data2 = [[int(c in row) for c in feature_space] for row in data]
>>> data2[:5]
[[0, 0, 1, 1, 0], [1, 1, 0, 1, 0], [1, 1, 0, 0, 0], [0, 0, 1, 0, 1], [1, 0, 1, 1, 1]]

是否有 pandas 或 sklearn 函数/管道来编码这样的特征？

【参考方案1】：

使用 pandas 系列在其索引中跟踪您的标签。然后通过.loc 方法访问1 的值。用0填写缺失值。

import pandas as pd
import numpy as np

s1 = pd.Series(np.ones(len(labels)), labels)
s0 = pd.Series(np.zeros(len(labels)), labels)

df = pd.concat([s1.loc[d].combine_first(s0) for d in data], axis=1)
df.astype(int).T[labels].values

设置

import pandas as pd
import numpy as np

np.random.seed([3,1415])
labels = ['ini', '', 'pdf', 'flac', 'php']
data = [random.sample(labels, random.randint(0, len(labels))) for _ in range(20)]

s1 = pd.Series(np.ones(len(labels)), labels)
s0 = pd.Series(np.zeros(len(labels)), labels)

验证

data[0] 为空

data[0]

[]

---

用它切片s1 会产生一个空系列。

s1.loc[data[0]]

Series([], dtype: float64)

---

与s0结合填0 s1.loc[data[0]].combine_first(s0)

        0.0
flac    0.0
ini     1.0
pdf     0.0
php     0.0
dtype: float64

---

pd.concat 将它们聚集在一起。

df = pd.concat([s1.loc[d].combine_first(s0) for d in data], axis=1).T

print df.head()

       flac  ini  pdf  php
0   0     0    1    0    0
1   0     0    0    0    1
2   1     1    0    1    1
3   0     1    0    0    0
4   0     0    0    1    0

---

按标签切片以获得正确的顺序并取值

df.astype(int)[labels].values

array([[1, 0, 0, 0, 0],
       [0, 0, 0, 0, 1],
       [0, 1, 1, 1, 1],
       [0, 0, 0, 1, 0],
       [0, 0, 1, 0, 0],
       [1, 1, 1, 1, 1],
       [1, 1, 1, 1, 1],
       [1, 0, 1, 1, 1],
       [1, 1, 1, 1, 1],
       [1, 1, 1, 1, 1],
       [0, 0, 1, 1, 1],
       [1, 1, 1, 1, 1],
       [1, 0, 1, 1, 0],
       [0, 0, 0, 0, 0],
       [0, 1, 0, 0, 1],
       [0, 0, 1, 0, 1],
       [1, 1, 1, 1, 1],
       [0, 0, 0, 1, 1],
       [0, 0, 0, 1, 0],
       [1, 1, 0, 1, 1]])

【讨论】：

这看起来很有希望，但它忽略了空集数据点（如我的示例中的 data[1]（

请注意，标签事先是未知的（我创建了该列表来创建数据）。是否有更好的（比 set(sum(data, [])) 方法来发现所有标签？可能是使用 LabelEncoder 或 get_dummies？

使用pd.Series(pd.DataFrame(data).values.flatten()).dropna().unique()

谢谢！有没有类似的方法来编码另一种形式的特征，而不是一组，我们有一个计数字典？例如，["":1, "pdf":20, "ini":2, "php":3]

pd.DataFrame(["":1, "pdf":20, "ini":2, "php":3]).columns.tolist()