CDH集群spark-shell执行过程分析

Posted 2022-08-07 格格巫 MMQ!!

目的
刚入门spark，安装的是CDH的版本，版本号spark-core_2.11-2.4.0-cdh6.2.1，部署了cdh客户端（非集群节点），本文主要以spark-shell为例子，对在cdh客户端上提交spark作业原理进行简单分析，加深理解

spark-shell执行
启动spark-shell后，可以发下yarn集群上启动了一个作业，实际上，cdh-spark默认提交作业模式为yarn-client模式，即在本地运行Driver，作业在yarn集群上执行

spark-shell启动过程分析
查看spark-shell路径及内容，$LIB_DIR值为/opt/cloudera/parcels/CDH/lib，所以执行的是/opt/cloudera/parcels/CDH/lib/spark/bin/spark-shell

继续查看/opt/cloudera/parcels/CDH/lib/spark/bin/spark-shell，脚本关键的内容如下：

#!/usr/bin/env bash
if [ -z "