Spark on Yarn

Posted 2020-10-03 百里登风

 

YARN是什么

 

 

 

YARN在hadoop生态系统中的位置

 

 

 

YARN产生的背景

 

 

YARN的基本架构

 

ResourceManager

 

NodeManager

 

 ApplicationMaster

 

 

container 

 

 

                              Spark On Yarn 配置和部署

编译时包含yarn

基本配置

 

 

在没有配置的前提下试下启动spark-shell

可以看到启动没问题

 

 

 这里问题就来了！！！

下面我们配上来看看

 

可以看到报错了！！！

 应该是资源不足导致的

先重启一下各个进程

 

 

$SPARK_HOME/bin/spark-submit --class org.apache.spark.examples.JavaSparkPi --master yarn-cluster 
--num-executors 1 --driver-memory 1g --executor-memory 1g --executor-cores 1 $SPARK_HOME/lib/spark-examples-1.6.1-hadoop2.6.0.jar

 

 

注意观察了

 可以看到

 

 

 

以下为视频内容（本人自己的环境出错，费了好多精力找不到原因）

 

提交spark job给yarn

 

 

 在跑的过程中我们可以在网页上看到

 

 

 

                                                                       Spark On Yarn 运行架构解析

 

 

                                       

                                                                yarn client

 

 

 如何更改默认配置

 

在这里修改

 

环境变量

 

http://spark.apache.org/docs/1.6.1/running-on-yarn.html