Spark--wordcount(词频降序)

Posted npc-assange

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Spark--wordcount(词频降序)相关的知识,希望对你有一定的参考价值。

 

import org.apache.spark.{SparkConf, SparkContext}

object wc2 {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setMaster("local").setAppName("wc2")
    val sc = new SparkContext(conf)

    val inputRdd = sc.textFile("/root/The_Man_of_Property.txt")
    val wc = inputRdd.flatMap(_.split(" "))
      .map((_,1))
      .reduceByKey(_+_)
    val sortWords = wc.map(x=>(x._2,x._1))
      .sortByKey(false)
      .map(x=>(x._2,x._1))
      .foreach(println(_))
  }
}

 

以上是关于Spark--wordcount(词频降序)的主要内容,如果未能解决你的问题,请参考以下文章

个人作业——词频统计

Spark:WordCount 步骤

spark wordcount

Java+Spark wordCount 与 EMR

Spark WordCount 产生多少个 RDD

Java实现的词频统计