cdh5.15集群添加spark2.3服务（parcels安装）

Posted 2021-01-21 students

背景：

机器系统：redhat7.3；已经配置了http服务

集群在安装的时候没有启动spark服务，因为cdh5.15自带的spark不是2.0，所以直接进行spark2.3的安装

参考文档：https://www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html

一、下载：（注意版本对应）

1.准备csd文件

路径http://archive.cloudera.com/spark2/csd/

 

2.准备parcels文件

路径http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera3/

二、准备：

3.将csd文件放在 分发目录中（默认/opt/cloudera/csd目录，每个节点都要！！）

注：要保证集群的本地描述符存储库路径是/opt/cloudera/csd 
查看方式：CM主界面管理–>设置–>类别（本地描述符存储库路径）

4.将parcel文件放置在/var/www/html/spark2/parcels/latest目录下，且保证http能够访问（因为我这里的/var/www/html目录存储不够了，所以我做了软连接）

5.重启cm server

三、安装parcels 
1、主机–>parcels–>配置–>填写url–>检查新的parcel 
2、下载–>分配—>激活

四、添加服务 
1、点击集群按钮旁的添加服务 
2、选择spark2 –>继续 
3、选择依赖 
4、角色分配（Gateway所有主机都要安装） 
5、启动

五、安装jdk1.8和scalar