CDH中如何升级Spark

Posted xingoo

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了CDH中如何升级Spark相关的知识,希望对你有一定的参考价值。

公司平时使用的CDH版本的hadoop生态,spark任务是基于yarn来管理的,而不是基于原生的spark master slave集群管理。

因此任务的大致启动模式是:

如果是Cluster模式:

  1. A节点启动Spark-submit,这个程序即为client,client连接Resource Manager
  2. Resource Manager指定一个Node Manager创建AppMaster,这个AppMaster就是Driver
  3. AppMaster向Resource Manager申请资源创建Spark的Excutor
  4. Excutor向Driver(AppMaster)报告程序结果

如果是Client模式:

  1. A节点启动Spark-submit,这个程序就是client,此时直接创建Driver。
  2. 连接Resource Manager创建AppMaster
  3. Driver向AppMaster申请创建Excutor,AppMaster再跟Resource Manager申请资源创建Excutor
  4. Excutor向Driver(Client)报告程序结果

那么这种环境下如何升级Spark呢?

通过上面的过程分析,可以知道,Spark版本存在两个地方:一个是A节点提交Spark-submit的程序必须是2.3.0版本的;另一个是Yarn使用的lib必须是2.3.0版本的。

虽然暂时还屡不清楚来龙去脉,但是跟着过一遍吧!

第一步,在A节点下载spark2.3的jar

[xxx@hnode10 app]$ ls -l
total 628168
drwxrwxr-x  6 hdfs hdfs      4096 Jan  9 10:35 akita
-rw-r--r--  1 hdfs hdfs  18573432 Jan  9 10:34 akita-release.tar.gz
lrwxrwxrwx  1 hdfs hdfs        46 Jan  2 09:37 canal -> /var/lib/hadoop-hdfs/app/canal.deployer-1.0.25
drwxrwxr-x  6 hdfs hdfs      4096 Jan  2 09:36 canal.deployer-1.0.25
drwxrwxr-x  4 hdfs hdfs      4096 May 31 09:11 hadoop
lrwxrwxrwx  1 root root        50 Jun  5 12:34 spark -> /var/lib/hadoop-hdfs/app/spark-2.2.0-bin-hadoop2.6
drwxr-xr-x 14 hdfs hdfs      4096 Nov  9  2017 spark-2.1.1-bin-hadoop2.6
-rw-r--r--  1 hdfs hdfs 198804211 Oct 23  2017 spark-2.1.1-bin-hadoop2.6.tgz
drwxr-xr-x 13 hdfs hdfs      4096 Jun  5 12:33 spark-2.2.0-bin-hadoop2.6
-rw-rw-r--  1 hdfs hdfs 201706782 Jul 11  2017 spark-2.2.0-bin-hadoop2.6.tgz
drwxr-xr-x 13 hdfs hdfs      4096 Feb 23 03:46 spark-2.3.0-bin-hadoop2.6
-rw-rw-r--  1 hdfs hdfs 224121109 Feb 23 03:54 spark-2.3.0-bin-hadoop2.6.tgz
lrwxrwxrwx  1 root root        25 Jun  6 09:04 spark23 -> spark-2.3.0-bin-hadoop2.6

第二步,修改配置文件和启动脚本

解压后,创建一个新的软连接 spark23到对应的目录:

ln -s /var/lib/hadoop-hdfs/app/spark-2.3.0-bin-hadoop2.6 spark23

然后配置对应的启动脚本:

[xxx@hnode10 bin]$ ls -l
total 9588
-rwxr-xr-x 1 hdfs hdfs    2991 Oct 23  2017 spark2-shell
-rwxr-xr-x 1 hdfs hdfs    1013 Oct 23  2017 spark2-submit
-rwxr-xr-x 1 root root    2993 Jun  6 17:39 spark23-shell
-rwxr-xr-x 1 root root    1015 Jun  6 17:41 spark23-submit

在spark23-submit中修改SPARK_HOME

export SPARK2_HOME=/var/lib/hadoop-hdfs/app/spark23
exec "${SPARK2_HOME}"/bin/spark-class org.apache.spark.deploy.SparkSubmit "$@"

在spark23-shell中修改SPARK_HOME

cygwin=false
case "$(uname)" in
  CYGWIN*) cygwin=true;;
esac

# Enter posix mode for bash
set -o posix

export SPARK2_HOME=/var/lib/hadoop-hdfs/app/spark23
....

修改Spark2.3中的配置文件spark-defaults.conf

spark.yarn.jars  hdfs://nameservice1/app/spark23/lib/*.jar
spark.history.fs.logDirectory  hdfs://nameservice1/user/spark/applicationHistory

其中spark.yarn.jars指定了yarn使用的spark jar包目录。

第三步,在hdfs中上传yarn使用的lib

最后,找一个hello world启动下试试吧~

以上是关于CDH中如何升级Spark的主要内容,如果未能解决你的问题,请参考以下文章

CDH| Spark升级

Spark升级--在CDH-5.15.1中添加spark2

spark升级后 集成hbase-1.0.0-cdh5.4.5异常

如何在CDH中启用Spark Thrift

0644-5.16.1-如何在CDH5中使用Spark2.4 Thrift

如何在 CDH 5.4.4 上从 Spark 查询 Hive