python 字数pyspark

Posted

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了python 字数pyspark相关的知识，希望对你有一定的参考价值。

from pyspark import SparkContext

sc = SparkContext()
lines = sc.textFile(src)
words = lines.flatMap(lambda x: x.split(' '))
word_count = words.map(lambda x: (x, 1)).reduceByKey(lambda x, y: x + y)
word_count.saveAsTextFile(dst)

以上是关于python 字数pyspark的主要内容，如果未能解决你的问题，请参考以下文章