大数据讲课笔记6.4 ZooKeeper分布式集群部署

Posted howard2005

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大数据讲课笔记6.4 ZooKeeper分布式集群部署相关的知识,希望对你有一定的参考价值。

文章目录

零、学习目标

  1. 能正确安装ZooKeeper
  2. 能正确配置ZooKeeper
  3. 能正确启动和关闭ZooKeeper服务

一、导入新课

  • 通过上节课的学习,我们对ZooKeeper提供的选举机制有了一定的认识。要想深入学习和掌握ZooKeeper的相关应用,首先必须得学会部署一个属于自己的ZooKeeper集群。本节课将针对ZooKeeper分布式集群的部署进行详细讲解。

二、新课讲解

(一)ZooKeeper分布式集群部署

  • ZooKeeper分布式集群部署指的是ZooKeeper分布式模式安装。ZooKeeper集群搭建通常是由2n+1台服务器组成,这是为了保证 Leader 选举(基于Paxos算法的实现)能够通过半数以上台服务器选举支持,因此,ZooKeeper集群的数量一般为奇数台。

(二)下载解压ZooKeeper安装包

  • 由于ZooKeeper集群运行需要Java环境支持,所以要提前安装JDK(对于jdk的下载安装这里不作赘述)。ZooKeeper安装包的下载安装,具体步骤如下:

1、下载ZooKeeper安装包

  • ZooKeeper的下载地址:
    http://mirror.bit.edu.cn/apache/ZooKeeper/ZooKeeper-3.4.10/

2、上传ZooKeeper安装包

  • 将下载完毕的ZooKeeper安装包上传至Linux系统/opt目录下

3、解压ZooKeeper安装包

  • 将ZooKeeper安装包解压到指定目录/usr/local

(三)ZooKeeper相关配置

1、修改ZooKeeper配置文件

  • 先将zoo_sample.cfg配置文件重命名为zoo.cfg,然后指定dataDir目录、配置服务器编号与主机名映射关系、设置与主机连接的心跳端口和选举端口。

2、创建myid文件

  • 根据配置文件zoo.cfg设置的dataDir目录,创建zkdata文件夹并创建myid文件,该文件里面的内容就是服务器编号。

3、配置环境变量

  • 执行命令vim /etc/profile对profile文件进行修改,添加ZooKeeper的环境变量

4、分发ZooKeeper到其它节点

  • 先将ZooKeeper安装目录、myid文件以及profile文件分发至hadoop02、hadoop03服务器上,并且修改myid的文件内容,依次对应服务器号进行设置,分别为2、3。

5、让环境变量生效

  • 分别在master、slave1、slave2服务器上刷新profile配置文件,使环境变量生效。

(四)启动和关闭ZooKeeper服务

1、启动ZooKeeper服务

  • 步骤1 在master、slave1、slave2服务器上依次执行zkServer.sh sstart启动ZooKeeper服务。
  • 步骤2 执行命令“zkServer.sh status”查看该节点ZooKeeper的角色。

2、关闭ZooKeeper服务

  • 步骤1 在master、slave1、slave2服务器上执行zkServer.sh stop关闭ZooKeeper服务。
  • 步骤2 执行命令“zkServer.sh status”查看该节点ZooKeeper的角色。

三、归纳总结

  • 回顾本节课所讲的内容,并通过提问的方式引导学生解答问题并给予指导。

四、上机操作

  • 形式:单独完成
  • 题目:搭建ZooKeeper集群
  • 要求:让学生自己按照步骤配置ZooKeeper集群,并进行启动和关闭ZooKeeper服务的操作,以此来巩固本节的学习内容。写一篇CSDN博客,记录操作过程。

以上是关于大数据讲课笔记6.4 ZooKeeper分布式集群部署的主要内容,如果未能解决你的问题,请参考以下文章

大数据讲课笔记6.1 初识ZooKeeper

大数据讲课笔记6.2 ZooKeeper数据模型

大数据讲课笔记3.2 Hadoop部署模式

大数据讲课笔记6.5 ZooKeeper的Shell操作

大数据讲课笔记6.5 ZooKeeper的Shell操作

大数据讲课笔记6.6 ZooKeeper的Java API操作