大数据：Spark ShuffleExecutorDriver之间Shuffle结果消息传递追踪
Posted raintungli
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了大数据：Spark ShuffleExecutorDriver之间Shuffle结果消息传递追踪相关的知识，希望对你有一定的参考价值。
1. 前言
在博客里介绍了
ShuffleWrite关于shuffleMapTask如何运行，输出Shuffle结果到Shuffle_shuffleId_mapId_0.data数据文件中，每个executor需要向Driver汇报当前节点的Shuffle结果状态，Driver保存结果信息进行下个Task的调度。
以上是关于大数据：Spark ShuffleExecutorDriver之间Shuffle结果消息传递追踪的主要内容，如果未能解决你的问题，请参考以下文章
大数据入门核心技术-Spark执行Spark任务的两种方式:spark-submit和spark-shell