CDH5.12.0 如何升级到Spark2.0 版本

Posted 2020-11-06

CDH5.12.0 如何升级到Spark2.0 版本

标签（空格分隔）： 大数据平台构建

---

• 一： CDH5.12.0 的spark2.0 的概述：
• 二： 如何在CDH5.12.0 上面 升级spark2.0
• 三： 在cdh5.12.0CM上面进行配置 spark2.0 的parcel包的分发

---

一： CDH5.12.0 的spark2.0 的概述：

在CDH5.12.0集群中，默认安装的spark是1.6版本，这里需要将其升级为spark2.x版本。经查阅官方文档，发现spark1.6和2.x是可以并行安装的，也就是说可以不用删除默认的1.6版本，可以直接安装2.x版本，它们各自用的端口也是不一样的。我尝试了安装spark2.0版本和spark2.1版本，均告成功。这里做一下安装spark2.1版本的步骤记录。

Cloudera发布Apache Spark 2概述(可以在这里面找到安装方法和parcel包的仓库)
从cloudera的官网可以下载相关的parcel 的离线安装包
：https://www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html

关于cdh5.12.0 安装 组件版本的一些介绍

Cloudera Manager及5.12.0版本的介绍：https://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_parcels.html#cmug_topic_7_11_5__section

---

二： 如何在CDH5.12.0 上面 升级spark2.0

2.1 ： 安装之前的准备

所需软件：
http://archive.cloudera.com/spark2/csd/

Parcels 包的下载地址：
http://archive.cloudera.com/spark2/parcels/2.2.0.cloudera1/

2.2: cdh5.12.0 配置spark2.0 步骤

2.2.1:cdh5.12.0 控制节点：

mkdir -p /opt/cloudera/csd/
上传文件：
SPARK2_ON_YARN-2.2.0.cloudera1.jar 到 /opt/cloudera/csd/下面：

chown -R cloudera-scm:cloudera-scm /opt/cloudera

上传文件： 
SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.142354-el7.parcel
SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.142354-el7.parcel.sha1 
到/opt/cloudera/parcel-repo/ 

执行命令：

chown -R cloudera-scm:cloudera-scm /opt/cloudera

去掉 SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.142354-el7.parcel.sha1 后面的1 

mv SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.142354-el7.parcel.sha1 SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.142354-el7.parcel.sha

重启 cdh5.12.0 上面的 server 端与所有的agent 端

cd /opt/cloudera-manager/cm-5.12.0/etc/init.d
./cloudera-scm-server restart

./cloudera-scm-agent restart  (所有的agent节点)

三：在cdh5.12.0CM上面进行配置 spark2.0 的parcel包的分发

打开CDH5.12.0 CM 界面

点击分配

点击激活

确定

一直分配到激活

点击添加服务：

找到spark2  添加spark2 

选择一组依赖关系：

选择分配角色：

为主机添加角色：

部署 spark2  然后启动spark2