Spark on yarn的两种模式 yarn-cluster 和 yarn-client
Posted LazyJoJo
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Spark on yarn的两种模式 yarn-cluster 和 yarn-client相关的知识，希望对你有一定的参考价值。
从深层次的含义讲，yarn-cluster和yarn-client模式的区别其实就是Application Master进程的区别，yarn-cluster模式下，driver运行在AM(Application Master)中，它负责向YARN申请资源，并监督作业的运行状况。当用户提交了作业之后，就可以关掉Client，作业会继续在YARN上运行。然而yarn-cluster模式不适合运行交互类型的作业。而yarn-client模式下，Application Master仅仅向YARN请求executor，client会和请求的container通信来调度他们工作，也就是说Client不能离开。看下下面的两幅图应该会明白（上图是yarn-cluster模式，下图是yarn-client模式）：
以上是关于Spark on yarn的两种模式 yarn-cluster 和 yarn-client的主要内容，如果未能解决你的问题，请参考以下文章