Spark Shuffle过程详细分析
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Spark Shuffle过程详细分析相关的知识，希望对你有一定的参考价值。
在MapReduce中shuffle和Spark的shuffle的过程有一些区别。这里做一下具体的介绍。
Mapreduce的shuffle过程图解
Spark shuffle过程图解
注意:spark shuffle过程中没有分区和排序的过程，而且存储结果存储在内存中，所以速度要比mapreduce要快很多。
先就到这里吧，图解的说明应该比较清晰了。有问题欢迎留言
本文出自 “星月情缘” 博客，请务必保留此出处http://xuegodxingyue.blog.51cto.com/5989753/1951179
以上是关于Spark Shuffle过程详细分析的主要内容，如果未能解决你的问题，请参考以下文章