cloudera上面安装Spark2.0
Posted 下士闻道
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了cloudera上面安装Spark2.0相关的知识,希望对你有一定的参考价值。
Cloudera默认值是提供Spark1.6的安装,下面介绍如何来安装spark2.1
2. parcels:http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera1/,根据操作系统选择对应的parcel文件,sha1文件,记得还要把列表最下面的manifest.json文件一并拷贝下来;注意需要sha1文件改名为sha;
3. 在cloudera parcels目录下(推荐目录/opt/cloudera)下面的csd文件中copy一下csd包
4. 在cloudera parcels目录下parcels-repo文件夹下拷贝parcels文件;
5. 进入cloudera管理页面,Hosts->Parcles,点击check for new parcles按钮,可以自动探测到spark2的parcles;
6. 点击spark一行右侧的Distribute按钮(发布-拷贝到集群个台机器);完事后再点击一次该按钮(激活-启动;此时按钮显示为Activate);
7. 此时addService还是不行,需要重启一下scm服务,重启服务的目的是能够重新读取一下csd文件夹下的内容,否则无法在add service的列表中看到spark2;然后在add Service的界面将会看到Spark2的安装选项;红字告知CDH默认并不带有此;但是我们已经通过自定义添加Spark2的Parcel了。
完事
以上是关于cloudera上面安装Spark2.0的主要内容,如果未能解决你的问题,请参考以下文章