cdh5.15集群添加spark2.3服务(parcels安装)

Posted students

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了cdh5.15集群添加spark2.3服务(parcels安装)相关的知识,希望对你有一定的参考价值。

背景:

机器系统:redhat7.3;已经配置了http服务

集群在安装的时候没有启动spark服务,因为cdh5.15自带的spark不是2.0,所以直接进行spark2.3的安装

参考文档:https://www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html

一、下载:(注意版本对应)

1.准备csd文件

路径http://archive.cloudera.com/spark2/csd/

技术分享图片

 

2.准备parcels文件

路径http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera3/

技术分享图片

二、准备:

3.将csd文件放在 分发目录中(默认/opt/cloudera/csd目录,每个节点都要!!

注:要保证集群的本地描述符存储库路径是/opt/cloudera/csd 
查看方式:CM主界面管理–>设置–>类别(本地描述符存储库路径)

4.将parcel文件放置在/var/www/html/spark2/parcels/latest目录下,且保证http能够访问(因为我这里的/var/www/html目录存储不够了,所以我做了软连接)

5.重启cm server

三、安装parcels 
1、主机–>parcels–>配置–>填写url–>检查新的parcel 
2、下载–>分配—>激活

四、添加服务 
1、点击集群按钮旁的添加服务 
2、选择spark2 –>继续 
3、选择依赖 
4、角色分配(Gateway所有主机都要安装) 
5、启动

五、安装jdk1.8和scalar









以上是关于cdh5.15集群添加spark2.3服务(parcels安装)的主要内容,如果未能解决你的问题,请参考以下文章

Spark学习之路 Spark2.3 HA集群的分布式安装

Spark学习之路 Spark2.3 HA集群的分布式安装[转]

CDH 5.15.2 离线安装

Spark2.3.1中用各种模式来跑官方Demo

centos7中安装cdh5.15

0823-5.15.1-HDFS慢导致Hive查询慢问题分析