PythonRDD[1] at RDD at PythonRDD.scala:53

Posted 阿龙的代码在报错

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了PythonRDD[1] at RDD at PythonRDD.scala:53相关的知识，希望对你有一定的参考价值。

运行spark程序时出现以下错误

PythonRDD[1] at RDD at PythonRDD.scala:53

解决方法

原程序代码:

from pyspark import SparkConf,SparkContext
conf = SparkConf().setAppName('filer').setMaster('local[*]')
sc = SparkContext(conf=conf)

rdd = sc.parallelize([1,2,3,4,5,6])
rdd_filer = rdd.filter(lambda x:x>1)
print(rdd_filer)

更改后:

from pyspark import SparkConf,SparkContext
conf = SparkConf().setAppName('filer').setMaster('local[*]')
sc = SparkContext(conf=conf)

rdd = sc.parallelize([1,2,3,4,5,6])
rdd_filer = rdd.filter(lambda x:x>1)
print(rdd_filer.collect())

更改后成功运行

以上是关于PythonRDD[1] at RDD at PythonRDD.scala:53的主要内容，如果未能解决你的问题，请参考以下文章