Pyspark rdd：“RDD”对象没有属性“平面图”

Posted 2023-04-15

【中文标题】Pyspark rdd：“RDD”对象没有属性“平面图”

【英文标题】：Pyspark rdd : 'RDD' object has no attribute 'flatmap'

【发布时间】：2018-10-28 10:55:49

【问题描述】：

我是 Pyspark 的新手，实际上我正在尝试从 Pyspark RDD 对象构建平面图。但是，即使 pyspark RDD 类明确存在此功能，根据文档，我也无法使用它并收到以下错误：

AttributeError: 'RDD' object has no attribute 'flatmap'

我在以下行中调用后一个函数：

my_rdd = my_rdd.flatmap(lambda r: (r[5].split('|')))

导入如下：

from pyspark.sql import *
from pyspark.sql.functions import *
from pyspark.sql import SparkSession
from pyspark import SparkContext as sc
from pyspark import SparkFiles
spark = SparkSession.builder.getOrCreate()

此外，my_rdd.count 等其他一些功能正在运行，这让我认为 SparkContext 已正确实现。

您对它可能失败的原因有任何想法吗？

【参考方案1】：

my_rdd = my_rdd.flatMap(lambda r: (r[5].split('|')))

大写！！！

【讨论】：

这些事情发生了，以林还林

我还在体验AttributeError: 'DataFrame' object has no attribute 'flatMap'

不是它的工作原理。 @杰里米

这篇文章，在DataFrame上调用这个函数：***.com/a/37955947/3710514

这个问题是关于 rdd 的不是数据帧。请发布一个新问题。