reduceByKey和groupByKey的区别
Posted xiangyuguan
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了reduceByKey和groupByKey的区别相关的知识，希望对你有一定的参考价值。
-
reduceByKey：按照key进行聚合，在shuffle之前有combine（预聚合）操作，返回结果是RDD[k,v]
-
groupByKey：按照key进行分组，直接进行shuffle
建议使用reduceByKey。但是需要注意是否会影响业务逻辑
以上是关于reduceByKey和groupByKey的区别的主要内容，如果未能解决你的问题，请参考以下文章
Spark中reduceByKey()和groupByKey()的区别
在Spark中关于groupByKey与reduceByKey的区别
Spark 中 RDD 算子 ReduceByKey 和 GroupByKey 使用方法和区别
Spark中groupBy groupByKey reduceByKey的区别
reduceByKey 与 groupByKey 与 aggregateByKey 与 combineByKey 之间的火花差异