rdd 上的映射如何在 pyspark 中工作？

Posted 2023-04-15

【中文标题】rdd 上的映射如何在 pyspark 中工作？

【英文标题】：How does mapping on an rdd work in pyspark?

【发布时间】：2019-01-18 06:32:33

【问题描述】：

我在学习pyspark的时候遇到这个。

from pyspark.sql import Row
df = spark.createDataFrame([Row([0,45,63,0,0,0,0]),
                           Row([0,0,0,85,0,69,0]),
                           Row([0,89,56,0,0,0,0])],
                           ['features'])

+--------------------+
|            features|
+--------------------+ 
|[0, 45, 63, 0, 0,...|
|[0, 0, 0, 85, 0, ...|
|[0, 89, 56, 0, 0,...|
+--------------------+

sample = df.rdd.map(lambda row: row[0]*2)
sample.collect()

[[0, 45, 63, 0, 0, 0, 0, 0, 45, 63, 0, 0, 0, 0],
[0, 0, 0, 85, 0, 69, 0, 0, 0, 0, 85, 0, 69, 0],
[0, 89, 56, 0, 0, 0, 0, 0, 89, 56, 0, 0, 0, 0]]

我的问题是为什么 row[0] 被视为一个完整列表而不是一个值？ 给出上述输出的属性是什么

【参考方案1】：

您已将其视为完整列表，并且您还已将其定义在一列“功能”下

当你说的时候

df.rdd.map(lambda row: row[0]*2)

您只是在询问 spark “我希望此列表中的所有值出现两次”。因此，您将获得您正在获得的输出。

现在如何获取列表中的单个值。

df = spark.createDataFrame([Row(0,45,63,0,0,0,0),
                       Row(0,0,0,85,0,69,0),
                       Row(0,89,56,0,0,0,0)],
                       ['feature1' , 'feature2' , 'feature3' , 'feature4', 'feature5' , 'feature6' , 'feature7'])

这应该使您可以访问专用列中的各个值。

注意：模式的语法只是表示。请参阅 spark 文档以了解确切的语法。

希望这会有所帮助:)