spark wordcont Spark: sortBy和sortByKey函数详解

Posted 2020-10-07

   val res =  sc.textFile("D:\\test\\spark\\urlCount").flatMap(_.split("\\s"))
     .map((_,1)).reduceByKey(_+_).map(t=>(t._2,t._1)).sortByKey().top(10)

在很多应用场景都需要对结果数据进行排序，Spark中有时也不例外。在Spark中存在两种对RDD进行排序的函数，分别是 sortBy和sortByKey函数。sortBy是对标准的RDD进行排序，它是从Spark 0.9.0之后才引入的（可以参见SPARK-1063）。而sortByKey函数是对PairRDD进行排序，也就是有Key和Value的RDD。下面将分别对这两个函数的实现以及使用进行说明。

当组成keyval对之后只能用sortBykey实现了