用字典键值（pyspark）替换火花df中一列的值

Posted 2023-04-15

【中文标题】用字典键值（pyspark）替换火花df中一列的值

【英文标题】：replace values of one column in a spark df by dictionary key-values (pyspark)

【发布时间】：2017-06-27 09:07:08

【问题描述】：

我在 pyspark 中遇到了数据转换任务。 我想用字典中指定的键值对替换 df 中一列的所有值。

dict = 'A':1, 'B':2, 'C':3

我的 df 看起来像这样：

+-----------++-----------+
|       col1||       col2|
+-----------++-----------+
|          B||          A|
|          A||          A|
|          A||          A|
|          C||          B|
|          A||          A|
+-----------++-----------+

现在我想用 dict 中定义的键值对替换 col1 的所有值。

期望的输出：

+-----------++-----------+
|       col1||       col2|
+-----------++-----------+
|          2||          A|
|          1||          A|
|          1||          A|
|          3||          B|
|          1||          A|
+-----------++-----------+

我试过了

df.na.replace(dict, 1).show()

但这也替换了 col2 上的值，该值应保持不变。

感谢您的帮助。 问候:)

【问题讨论】：

我相信您的问题是使用 spark 广播变量的用例。查看spark.apache.org/docs/2.4.0/…

【参考方案1】：

您的数据：

print df
DataFrame[col1: string, col2: string]
df.show()   
+----+----+
|col1|col2|
+----+----+
|   B|   A|
|   A|   A|
|   A|   A|
|   C|   B|
|   A|   A|
+----+----+

diz = "A":1, "B":2, "C":3

将字典的值从整数转换为字符串，以免出现替换不同类型的错误：

diz = k:str(v) for k,v in zip(diz.keys(),diz.values())

print diz
'A': '1', 'C': '3', 'B': '2'

替换 col1 的值

df2 = df.na.replace(diz,1,"col1")
print df2
DataFrame[col1: string, col2: string]

df2.show()
+----+----+
|col1|col2|
+----+----+
|   2|   A|
|   1|   A|
|   1|   A|
|   3|   B|
|   1|   A|
+----+----+

如果您需要将值从 String 转换为 Integer

from pyspark.sql.types import *

df3 = df2.select(df2["col1"].cast(IntegerType()),df2["col2"]) 
print df3
DataFrame[col1: int, col2: string]

df3.show()
+----+----+
|col1|col2|
+----+----+
|   2|   A|
|   1|   A|
|   1|   A| 
|   3|   B|
|   1|   A|
+----+----+

【讨论】：

如果每个键都有值列表怎么办。我将如何实现这一目标？

我认为您评论中的问题应该是另一个不同的 *** 问题，因此您可以提供具体示例来说明您的意思并获得更准确和完整的答案

【参考方案2】：

您还可以创建一个简单的 lambda 函数来获取字典值并更新您的数据框列。

+----+----+
|col1|col2|
+----+----+
|   B|   A|
|   A|   A|
|   A|   A|
|   A|   A|
|   C|   B|
|   A|   A|
+----+----+

dict = 'A':1, 'B':2, 'C':3
from pyspark.sql.functions import udf
from pyspark.sql.types import IntegerType

user_func =  udf (lambda x: dict.get(x), IntegerType())
newdf = df.withColumn('col1',user_func(df.col1))

>>> newdf.show();
+----+----+
|col1|col2|
+----+----+
|   2|   A|
|   1|   A|
|   1|   A|
|   1|   A|
|   3|   B|
|   1|   A|
+----+----+

我希望这也有效！

【参考方案3】：

在替换我的 df 中第 1 列的值之前，我必须自动生成我的字典（给定许多键）。这样做如下：

keys =sorted(df.select('col1').rdd.flatMap(lambda x: x).distinct().collect())

keys
['A', 'B', 'C']

import numpy

maxval = len(keys)
values = list(numpy.array(list(range(maxval)))+1)

values
[1, 2, 3]

确保(as titiro89 mentions above)“新”值的类型与“旧”值的类型相同（本例中为字符串）

dct = k:str(v) for k,v in zip(keys,values)
print(dct)

'A': '1', 'B': '2', 'C': '3'

df2 = df.replace(dct,1,"'col1'")