在Spark中关于groupByKey与reduceByKey的区别
Posted 曹军
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了在Spark中关于groupByKey与reduceByKey的区别相关的知识，希望对你有一定的参考价值。
1.groupByKey的源代码
2.groupByKey的使用缺点
不使用groupByKey的主要原因：在大规模的数据下，数据分布不均匀的情况下，可能导致OOM
3.reduceByKey的源代码
4.使用reduceByKey的youdian
使用reduceByKey函数的主要原因是：reduceByKey中存在combiner
以上是关于在Spark中关于groupByKey与reduceByKey的区别的主要内容，如果未能解决你的问题，请参考以下文章
Apache Spark在reducer端使用键映射和源数据而不是groupByKey（）有啥好处？
spark 的一些常用函数 filter，map，flatMap，lookup ，reduce，groupByKey
Spark笔记004-reduceByKey和groupBykey