Spark--wordcount(词频降序)
Posted npc-assange
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Spark--wordcount(词频降序)相关的知识,希望对你有一定的参考价值。
import org.apache.spark.{SparkConf, SparkContext}
object wc2 {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setMaster("local").setAppName("wc2")
val sc = new SparkContext(conf)
val inputRdd = sc.textFile("/root/The_Man_of_Property.txt")
val wc = inputRdd.flatMap(_.split(" "))
.map((_,1))
.reduceByKey(_+_)
val sortWords = wc.map(x=>(x._2,x._1))
.sortByKey(false)
.map(x=>(x._2,x._1))
.foreach(println(_))
}
}
以上是关于Spark--wordcount(词频降序)的主要内容,如果未能解决你的问题,请参考以下文章