如何矢量化这个熊猫操作？

Posted 2023-03-11

【中文标题】如何矢量化这个熊猫操作？

【英文标题】：How to vectorize this pandas operation?

【发布时间】：2022-01-02 05:17:32

【问题描述】：

我有一个形状为 4200,8 的数据集。第一行如下所示：

X0  X1  X2  X3  X4  X5  X6  X8
32  23  17  0   3   24  9   14

每个值都是一个分类编码，对应于 30 个值的列表，如下所示：

[ 0.06405287, -0.1176078 , -0.06206927,  0.08389127, -0.18036067,
  0.35158703, -0.0928449 , -0.0974429 , -0.06705306, -0.17196381,
 -0.03776502,  0.09204011,  0.47813812,  0.16258538,  0.2699648 ,
  0.07496626, -0.09791522, -0.31499937, -0.24898018,  0.06126055,
  0.13187763,  0.21042736, -0.1585868 ,  0.08355565, -0.13935572,
  0.12408883,  0.2043313 , -0.12544186, -0.09223691,  0.00720569 ]

我的目标是为该列表中的每个值创建一个列，位于列表对应的分类编码的位置。上面的列表对应于X8 列中的值14，所以不是：X8 : 14 我有：

X8_1 X8_2 X8_3 ... X8_29 X8_30
0.06 -0.11 -0.62 ...-0.09 0.007

最终结果是我的 8 列数据框变成了 240 列的数据框。当然，每一行都有一组不同的值。以下是我的做法： 我得到列中的每个唯一值，创建一个字典 colname:uniqueval:indexoflist:listvalatindex。然后我从数据框的每一行创建一个字典，对于每一列和列中的值，我得到相应的列表并连接。然后我将该行连接到上一行。

weights = 
for index, x in enumerate(encoded.columns): #this is the dataset with the original encoded values
  weights[x] = 
  for id, val in enumerate(encoded[x].unique()):
    weights[x][val] = 
    for weightid, weightval in enumerate(model_full.get_layer(embeddings[index]).get_weights()[0][id]): #this is where I get the list of 30 values from
      weights[x][val][weightid] = weightval

mappedembeddings = pd.DataFrame()
encodedindex = []
for row in encoded.iterrows(): #iterate over original dataset
  encodedindex.append(row[0]) #store index for later
  df0 = pd.DataFrame()
  for k, v in row[1].to_dict().items(): #for each key/val in row
    names = []
    for z in weights[k][v].keys():
      names.append(str(k)+'_'+str(z)) #naming (z is key of list value)

    tempdf = pd.DataFrame([weights[k][v]]) #dataframe of list at column/value key in dictionary made from embedding layer list
    tempdf.columns = names
    df0 = pd.concat([df0,tempdf],axis=1) 

  mappedembeddings = pd.concat([mappedembeddings,df0],axis=0) #concat row to previous row
  
mappedembeddings.index = encodedindex

这需要很长时间。我想对这个操作进行矢量化处理，但我不确定如何进行，所以我希望能得到一些见解。

【问题讨论】：

30 个值的列表另存为什么？例如，如果我想获取值 14 的列表？对于 DataFrame 的所有行，值到列表的映射也相同吗？

@not_speshal 你好！ weights['X8'][14] 将获得值 14 的列表。它们被保存为嵌套字​​典，它是根据以下结构构建的：model_full.get_layer(embeddings["""column_name"""]).get_weights()[0]["""unique_value"""]。关于映射 - 相同的值对应于相同的列表。希望能回答你的问题。

【参考方案1】：

map您的每个列值到各自的列表中 explode 单个行的列表和stack 使用groupby 创建所需的列名 pivot 获取输出

values = df.apply(lambda x: x.map(weights[x.name]))
values = values.explode(list(values.columns)).stack().reset_index()
values["column"] = values["level_1"] + "_" + (values.groupby(["level_0", "level_1"]).transform("cumcount")+1).astype(str)
output = values.pivot("level_0", "column", 0)

完整的工作示例：

import pandas as pd
import numpy as np

np.random.seed(100)

#random dataframe with three columns X0 X1 and X2
df = pd.DataFrame(data = np.random.randint(30, size=(2,3)),
                  columns = [f"Xi" for i in range(3)]
                  )

#creating weights dictionary 
#weights[col][number]: list of 5 numbers
weights = dict()
for c in df.columns:
    weights[c] = num: np.random.rand(5) for num in df[c].unique()
    
values = df.apply(lambda x: x.map(weights[x.name]))
values = values.explode(list(values.columns)).stack().reset_index()
values["column"] = values["level_1"] + "_" + (values.groupby(["level_0", "level_1"]).transform("cumcount")+1).astype(str)
output = values.pivot("level_0", "column", 0)

>>> output
column       X0_1      X0_2      X0_3  ...      X2_3      X2_4      X2_5
level_0                                ...                              
0        0.844776  0.004719  0.121569  ...  0.372832  0.005689  0.252426
1        0.136707  0.575093  0.891322  ...  0.598843  0.603805  0.105148

[2 rows x 15 columns]

【讨论】：

效果很好！谢谢你，你的熊猫技能令人印象深刻。 Explode() 是我错过的一个非常方便的函数。再次感谢！