大数据开发之zookeeper简介

Posted 2020-11-07

首先安装hadooper必须安装zookeeper。

zookeeper在hadoop生态圈中起的非常重要的作用，一句话就是ZooKeeper是分布式系统中的协调系统。
浅谈zookeeper:zookeeper是什么？
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，
是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：
配置维护、域名服务、分布式同步、组服务等。
zookeeper的特点
简单
ZooKeeper的核心是一个精简的文件系统，它支持一些简单的操作和一些抽象操作，例如，排序和通知。
丰富
ZooKeeper的操作是很丰富的，可实现一些协调数据结构和协议。例如，分布式队列、分布式锁和一组同级别节点中的“领导者选举”。
高可靠
ZooKeeper支持集群模式，可以很容易的解决单点故障问题。
松耦合交互
不同进程间的交互不需要了解彼此，甚至可以不必同时存在，某进程在ZooKeeper中留下消息后，该进程结束后其它进程还可以读这条消息。
资源库
ZooKeeper实现了一个关于通用协调模式的开源共享存储库，能使开发者免于编写这类通用协议。
zookeeper扮演的角色
领导者(leader)：负责进行投票的发起和决议，更新系统状态。
学习者(learner)：包括跟随者(follower)和观察者(observer)
follower：用于接受客户端请求并向客户端返回结果，在选举过程中参与投票。
Observer：可以接受客户端连接，将写请求转发给leader，但observer不参与投票过程，只同步leader的状态，observer的
目的是为了扩展系统，提高读取速度。
客户端(client)：请求发起方。
zookeeper的数据模型
层次化的目录结构，命名符合常规文件系统规范
每个节点在zookeeper中叫做znode,并且其有一个唯一的路径标识
节点znode可以包含数据和子节点，但是EPHEMERAL类型的节点不能有子节点
znode中的数据可以有多个版本，比如某一个路径下存有多个数据版本，那么查询这个路径下的数据就需要带上版本
客户端应用可以在节点上设置监视器
节点不支持部分读写，而是一次性完整读写
zookeeper的节点类型
ZooKeeper节点znode有两种类型，临时节点(ephemeral)和持久节(persistent)。znode的类型在创建时确定并且之后不能再修改。
ephemeral节点在客户端会话结束时，将会被zookeeper删除，并且ephemeral节点不可以有子节点。
persistent节点不依赖与客户端会话，只有当客户端明确要删除该persistent节点时才会被删除。
目前znode有四种形式的目录节点，PERSISTENT、PERSISTENT_SEQUENTIAL、EPHEMERAL、EPHEMERAL_SEQUENTIAL
znode可以是临时节点，一旦创建这个znode的客户端与服务器失去联系，这个znode也将自动删除，
ZooKeeper的客户端和服务器通信采用长连接方式，每个客户端和服务器通过心跳来保持连接，
这个连接状态称之为session，如果znode是临时节点，这个seesion失效，znode也就删除了；持久化目录节点，这个目录节点存储的数据不会丢失；顺序自动编号的目录节点，这种目录节点会更具当前已经存放在的节点数自动加1，然后返回给客户端已经成功创建的目录节点名；临时目录节点，一旦创建这个节点的客户端和服务器端口也就是session超时，这种节点会被自动删除。