spark shuffle流程
Posted 低头school乡
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了spark shuffle流程相关的知识，希望对你有一定的参考价值。
spark job的创建，以及DAG阶段的划分，Task的生成（ShuffMapTask和ResultTask）。
task 划分好之后，提交给executor去执行，分配给哪个executor执行，决定了作业的性能。由此根据task要计算的数据可分为以下五种。
ShuffleMapTask是shuffle写磁盘的过程
ResultTask 是reduce 读磁盘的过程
以上是关于spark shuffle流程的主要内容，如果未能解决你的问题，请参考以下文章