coalesce和repartition的区别

Posted xiangyuguan

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了coalesce和repartition的区别相关的知识,希望对你有一定的参考价值。

  • coalesce重新分区,可以选择是否进行shuffle过程。由参数shuffle: Boolean = false/true决定
  • repartition实际上是调用的coalesce,默认是进行shuffle的

以上是关于coalesce和repartition的区别的主要内容,如果未能解决你的问题,请参考以下文章

Spark transformation算子之coalesce&&repartition

Spark 重分区函数:coalesce和repartition区别与实现,可以优化Spark程序性能

Spark中repartition和coalesce的用法

Spark——算子之间的区别

重新分区(1)和合并(1)之间的区别

Spark RDD 默认分区数量 - repartitions和coalesce异同