scala中分组的算子的用法

Posted liangyan131

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了scala中分组的算子的用法相关的知识,希望对你有一定的参考价值。

val rdd= sc.parallelize(List(("tom",1),("jerry",3),("kitty",2),("tom",2)))
//1.根据传入的参数进行分组
val rdd1:RDD[(String, Iterable[(String, Int)])] =rdd.groupBy(_._1)
println(rdd1.collect.toBuffer)
//2.根据key进行分区(对KV形式是使用) -->除了指定分组之后分区的数量之外, 还可以使用自定义分区器
val rdd2: RDD[(String, Iterable[Int])] = rdd.groupByKey()
println(rdd2.collect.toBuffer)

  技术图片

 

 

以上是关于scala中分组的算子的用法的主要内容,如果未能解决你的问题,请参考以下文章

Spark常用的算子以及Scala函数总结

linux打开终端如何启动scala,如何在终端下运行Scala代码片段?

scala combineByKey用法说明

scala集合算子大全及分类汇总——倾心整理

scala集合算子大全及分类汇总——倾心整理

Scala 高级算子