spark中的sortByKey(false)啥意思。那true呢？

Posted 2023-03-25

参考技术A

spark 源码中 sortByKey 函数的定义如下

sortByKey 接口定义

第一个参数 ascending 为 bool 类型，默认为 True，表示对数据按升序进行排列

如果指定为 False 则按降序排列

spark 官网

spark常用转换操作：sortByKey()和sortBy()

1.sortByKey()

功能：

　　返回一个根据键排序的RDD

示例

val list = List(("a",3),("b",2),("c",1))
val pairRdd = sc.parallelize(list)
pairRdd.sortByKey().collect.foreach(println)

结果

(a,3)
(b,2)
(c,1)

如果我们想逆向排序，就在后边加上false参数。

pairRdd.sortByKey(false).collect.foreach(println)

2.sortBy()

功能：

　　返回根据提供的参数进行排序的RDD

示例　　

val list = List(("a",3),("b",2),("c",1))
val pairRdd = sc.parallelize(list)
pairRdd.sortBy(_._1).collect.foreach(println)//根据key进行排序，等同于sortByKey()

结果同上

val list = List(("a",3),("b",2),("c",1))
val pairRdd = sc.parallelize(list)
pairRdd.sortBy(_._2).collect.foreach(println)//用value进行排序

结果

(c,1)
(b,2)
(a,3)

如果我们想逆向排序，就在后边加上false参数。

pairRdd.sortBy(_._2,false).collect.foreach(println)