spark collect获取所有元素
Posted 将者，智、信、仁、勇、严也。
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了spark collect获取所有元素相关的知识，希望对你有一定的参考价值。
from pyspark import SparkConf, SparkContext conf = SparkConf().setMaster("local").setAppName("My App") sc = SparkContext(conf = conf) lines = sc.textFile("/var/log/syslog") LinesError = lines.filter(lambda line: "error" in line) LinesWarn = lines.filter(lambda line: "warn" in line) print "----output----------------------" print lines.count() print LinesError.count() print LinesWarn.count() #通过spark的action操作函数：collect函数可以提取出所有rdd里的数据项 re = LinesWarn.collect() i = 0 for x in re: print i, x i += 1 sc.stop()
通过spark的action操作函数：collect函数可以提取出所有rdd里的数据项！
以上是关于spark collect获取所有元素的主要内容，如果未能解决你的问题，请参考以下文章