Spark（pyspark）如何仅在3元素元组的2个元素上reduceByKey

Posted 2021-04-20

我有这样的地图结果

[（'成功'，''，1），（'成功'，''，1），（'错误'，'something_random'，1），（'错误'，'something_random'，1），（'错误'，'something_random'，1）]

是否有一种减少按键的方式最终：

[（'成功'，2），（'错误'，3）]

然后以某种方式在文件上打印所有错误？

答案

以下是获得所需结果的两个选项：

1）将3元素元组转换为2元素元组然后使用reduceByKey：

rdd.map(lambda x: (x[0], x[2])).reduceByKey(lambda x, y: x + y).collect()
# [('success', 2), ('error', 3)]

2）groupBy元组的第一个元素，然后使用mapValues总结每个组的值（第三个元素）：

rdd.groupBy(lambda x: x[0]).mapValues(lambda g: sum(x for _,_,x in g)).collect()
# [('success', 2), ('error', 3)]