spark 例子wordcount topk

Posted 2020-11-17 chendapao

spark 例子wordcount topk

---

例子描述：

【单词计算wordcount 】
【词频排序topk】

单词计算在代码方便很简单，基本大体就三个步骤

• 拆分字符串
• 以需要进行记数的单位为K，自己拼个数字1为V，组成一个映射或者元组
• 分组（groupByKey）

词频排序

• 将分组后的数据进行排序

---

代码片段：

/* 单词计算wordcount */

val input = Source.fromFile("E:/test.txt").getLines.toArray

val wc = sc.parallelize(input)       /* spark单机读取数据 */
.flatMap(_.split(" "))               /* 拆分数据，以空格为拆分条件 */
.map((_,1))                          /* 将拆分的每个数据为K，自己创建个1为V */
.reduceByKey(_+_)                    /* 这里我喜欢叫分组 */
.foreach(println)                    /* 输出 */

/* 词频排序topk */

val input = Source.fromFile("E:/test.txt").getLines.toArray

val topk = sc.parallelize(input)     /* spark单机读取数据 */
.flatMap(_.split(" "))               /* 拆分数据，以空格为拆分条件 */
.map((_, 1))                         /* 将拆分的每个数据为K，自己创建个1为V */
.reduceByKey(_+_)                    /* 这里我喜欢叫分组 */
.sortBy(_._2,false)                  /* 根据分组后数据第2位数据进行排序 */
.take(5)                             /* 只取前5位 */
.foreach(println)                    /* 输出 */