修正版｜Spark任务提交后都干了些什么？

Posted 2021-04-27 DLab数据实验室

导读：猛然发现昨天文章中的内容不全，重新补发。

来源：DLab数据实验室（ID：rucdlab）

Spark提交后都干了些什么？

下图就是Spark通过client提交后，详细的运行情况（注：部署模式为yarn-cluster模式）。如果不太了解部署模式，可以看一下上一篇文章 。

spark任务提交后，主要分为三个阶段，下面来详细说明。

总结

通过这篇文章，我们应该又多了一个spark任务运行调试小技巧，就是可以去相应的hdfs目录来查看该目录下的资源、配置以及依赖包是否齐全，然后进一步分析程序运行的一些异常。

例如下面这样，我们可以发现这个application没有提交第三方jar包，只是提交了spark的配置文件。