spark--环境搭建--ZooKeeper345集群搭建

Posted _殇j

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了spark--环境搭建--ZooKeeper345集群搭建相关的知识,希望对你有一定的参考价值。

$ cd /usr/local/

$ tar -zxvf zookeeper-3.4.5.tar.gz

$ mv zookeeper-3.4.5 zk

$ cd

$ vi .bashrc

export ZOOKEEPER_HOME=/usr/local/zk
export PATH=$PATH:$ZOOKEEPER_HOME/bin

$ source .bashrc

$ cd /usr/local/zk/conf/

$ mv zoo_sample.cfg zoo.cfg

$ vi zoo.cfg

# 修改
dataDir=/usr/local/zk/data/
# 新增
server.0=spark1:2888:3888
server.1=spark2:2888:3888
server.2=spark3:2888:3888

$ cd /usr/local/zk/

$ mkdir data

$ cd data/

$ vi myid

0

$ cd /usr/local/

$ scp -r zk [email protected]:/usr/local/

$ scp -r zk [email protected]:/usr/local/

$ scp ~/.bashrc [email protected]:~/

$ scp ~/.bashrc [email protected]:~/

# 分别在spark2和spark3上执行 source ~/.bashrc

# 分别修改spark2和spark3的 vi /usr/local/zk/data/myid 为1和2

 

# 启动zk集群

三台机器分别执行$ zkServer.sh start

三台机器分别执行(检查启动情况)$ zkServer.sh status

 

# 进入zookeeper命令行

$ zkCli.sh

> quit

 

以上是关于spark--环境搭建--ZooKeeper345集群搭建的主要内容,如果未能解决你的问题,请参考以下文章

从0开始搭建基于Zookeeper的Spark集群

mac 搭建虚拟机安装spark,hive,zookeeper,scala,kafka等大数据集群搭建

Spark集群框架搭建VM15+CentOS7+Hadoop+Scala+Spark+Zookeeper+HBase+Hive

大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解

hadoop_hive_zookeeper_kafka_spark平台搭建

大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集