python 字数pyspark

Posted

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了python 字数pyspark相关的知识，希望对你有一定的参考价值。

from pyspark import SparkContext

sc = SparkContext()
lines = sc.textFile(src)
words = lines.flatMap(lambda x: x.split(' '))
word_count = words.map(lambda x: (x, 1)).reduceByKey(lambda x, y: x + y)
word_count.saveAsTextFile(dst)

以上是关于python 字数pyspark的主要内容，如果未能解决你的问题，请参考以下文章

使用 pyspark 计算所有可能的单词对

PySpark 直接从 Kafka 流式传输

使用Python读取markdown文件并统计字数

运行 python mrjob 字数统计示例时出错

python 哈姆雷特 字数统计 词云

python 字数统计