Spark Shuffle
Posted MISAYAONE
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Spark Shuffle相关的知识，希望对你有一定的参考价值。
1：老版本介绍，温故知新
Spark的Shuffle的四种机制以及参数调优_qichangjian的博客-CSDN博客_spark.shuffle.file.buffer
2：fetch 机制的详解：
Shuffle过程 | Apache Spark 的设计与实现
3：最新最全的解释，讲的最清晰：
Spark Tungsten-sort shuffle write流程解析 - 简书
Spark基本sort shuffle write流程解析 - 简书
4：与 MR shuffle 对比的总结
以上是关于Spark Shuffle的主要内容，如果未能解决你的问题，请参考以下文章
spark 4种 shuffle机制与mapreduce shuffle机制对比