zookeeper学习笔记
Posted 带带专科鼠
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了zookeeper学习笔记相关的知识,希望对你有一定的参考价值。
1.分布式技术-Zookeeper概述
目录
美团,饿了么,淘宝,58 同城等等应用都是 zookeeper的现实生活版 我开了个饭店,如何才能让大家都能吃到我们的饭菜?需要入驻美团,这样大家就可以在美团 app中看到我的饭店,下订单,从而完成一次交易 Zookeeper是一个开源的分布式(多台服务器干一件事)的,为分布式应用提供 协调服务 的 Apache项目。 在大数据技术生态圈中,zookeeper (动物管理员), Hadoop (大象), Hive(蜜蜂), Pig(猪)等技术
1.2 工作机制
Zookeeper 从设计模式角度来理解:是一个基于 观察者模式 (一个人干活,有人盯着他)设计的分 布式服务管理框架 它负责 存储 和 管理 大家都关心的数据 然后接受观察者的 注册 ,一旦这些数据的发生变化 Zookeeper 就将负责 通知 已经注册的那些观察者做出相应的反应 从而实现集群中类似 Master/Slave 管理模式 Zookeeper = 文件系统 + 通知机制 1. 商家营业并入驻 2. 获取到当前营业的饭店列表 3. 服务器节点下线 4. 服务器节点上下线事件通知 5. 重新再去获取服务器列表,并注册监听1.3特点
分布式和集群的区别? 无论分布式和集群,都是很多人在做事情。具体区别如下: 例如:我有一个饭店,越来越火爆,我得多招聘一些工作人员 分布式:招聘 1 个厨师, 1 个服务员, 1 个前台, 三个人负责的工作不一样 ,但是最终目 的都是为饭店工作 集群:招聘3个服务员,3个人的工作一样 1. 是一个 leader 和多个 follower 来组成的集群(狮群中,一头雄狮, N 头母狮) 2. 集群中只要有半数以上的节点存活, Zookeeper 就能正常工作( 5 台服务器挂 2 台,没问题; 4 台服 务器挂 2 台,就停止) 3. 全局数据一致性,每台服务器都保存一份相同的数据副本,无论 client 连接哪台 server ,数据都是 一致的 4. 数据更新原子性,一次数据要么成功,要么失败(不成功便成仁) 5. 实时性,在一定时间范围内, client 能读取到最新数据 6. 更新的请求按照顺序执行,会按照发送过来的顺序,逐一执行(发来 123 ,执行 123 ,而不是 321 或者别的) 1.4 数据结构 ZooKeeper数据模型的结构与linux文件系统很类似,整体上可以看作是一棵树,每个节点称做一 个ZNode(ZookeeperNode)。 每一个ZNode默认能够存储1MB的数据(元数据),每个ZNode的路径都是唯一的 元数据(Metadata),又称中介数据、中继数据,为描述数据的数据(data about data),主要是描述数据属性(property)的信息,用来支持如指示存储位置、历史数据、 资源查找、文件记录等功能提供的服务包括:统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载 均衡等
1.5统一命名服务
在分布式环境下,通常需要对应用或服务进行统一的命名,便于识别 例如:服务器的IP地址不容易记,但域名相比之下却是很容易记住 分布式环境下,配置文件做同步是必经之路 1000台服务器,如果配置文件作出修改,那一台一台的修改,运维人员肯定会疯,如何做到修改 一处就快速同步到每台服务器上 将配置管理交给Zookeeper 1、将配置信息写入到Zookeeper的某个节点上 2、每个客户端都监听这个节点 3、一旦节点中的数据文件被修改,Zookeeper这个话匣子就会通知每台客户端服务器1.6 服务器节点动态上下线
客户端能实时获取服务器上下线的变化 在美团APP上实时可以看到商家是否正在营业或打样
1.7 软负载均衡
2.配置zookeeper
解压
[root@localhost opt]# tar -zxvf apache-zookeeper-3.6.0-bin.tar.gz
1. 在/opt/zookeeper/这个目录上创建zkData和zkLog目录
[root@localhost zookeeper]# mkdir zkData
[root@localhost zookeeper]# mkdir zkLog
2.
进入
/opt/zookeeper/conf这个路径,复制一份
zoo_sample.cfg
文件并命名为
zoo.cfg
[root@localhost conf]# cp zoo_sample.cfg zoo.cfg
3.
编辑
zoo.cfg
文件,修改
dataDir
路径
dataDir=/opt/zookeeper/zkData
dataLogDir=/opt/zookeeper/zkLog
2.1配置参数详解
Zookeeper 中的配置文件 zoo.cfg 中参数含义解读如下: tickTime =2000 :通信心跳数, Zookeeper 服务器与客户端心跳时间,单位毫秒 Zookeeper使用的基本时间,服务器之间或客户端与服务器之间维持心跳的时间间隔,也就 是每个tickTime 时间就会发送一个心跳,时间单位为毫秒。 initLimit =10 : LF 初始通信时限 集群中的 Follower 跟随者服务器与 Leader 领导者服务器之间, 启动时 能容忍的最多心跳数 10*2000( 10 个心跳时间)如果领导和跟随者没有发出心跳通信,就视为失效的连接,领导 和跟随者彻底断开 syncLimit =5 : LF 同步通信时限 集群 启动后 , Leader 与 Follower 之间的最大响应时间单位,假如响应超过 syncLimit * tickTime->10秒, Leader 就认为 Follwer 已经死掉,会将 Follwer 从服务器列表中删除 dataDir :数据文件目录 + 数据持久化路径 主要用于保存Zookeeper 中的数据。 dataLogDir :日志文件目录 clientPort =2181 :客户端连接端口 监听客户端连接的端口。3. Zookeeper内部原理
3.1 选举机制(面试重点) 半数机制:集群中半数以上机器存活,集群可用。所以 Zookeeper 适合安装奇数台服务器 虽然在配置文件中并没有指定 Master 和 Slave 。但是, Zookeeper 工作时,是有一个节点为 Leader ,其他则为 Follower , Leader 是通过内部的选举机制临时产生的 1. Server1先投票,投给自己,自己为1票,没有超过半数,根本无法成为leader,顺水推舟将票数 投给了id比自己大的Server2 2. Server2也把自己的票数投给了自己,再加上Server1给的票数,总票数为2票,没有超过半数,也 无法成为leader,也学习Server1,顺水推舟,将自己所有的票数给了id比自己大的Server3 3. Server3得到了Server1和Server2的两票,再加上自己投给自己的一票。3票超过半数,顺利成为 leader 4. Server4和Server5都投给自己,但是无法改变Server3的票数,只好听天由命,承认Server3是 leader 3.2 节点类型 持久型( persistent ): 持久化目录节点 ( persistent )客户端与 zookeeper 断开连接后,该节点依旧存在 持久化顺序编号目录节点 ( persistent_sequential )客户端与 zookeeper 断开连接后,该节 点依旧存在,创建 znode 时设置 顺序 标识, znode 名称后会附加一个值,顺序号是一个单调 递增的计数器,由父节点维护,例如: Znode001 , Znode002... 短暂型( ephemeral ): 临时目录节点 ( ephemeral )客户端和服务器端断开连接后,创建的节点自动删除 临时顺序编号目录节点 ( ephemeral_sequential )客户端与 zookeeper 断开连接后,该节点 被删除,创建 znode 时设置 顺序 标识, znode 名称后会附加一个值,顺序号是一个单调递增 的计数器,由父节点维护,例如: Znode001 , Znode002... 注意:序号是相当于 i++ ,和数据库中的自增长类似 3.3 监听器原理(面试重点) 1. 在 main 方法中创建 Zookeeper 客户端的同时就会创建两个线程,一个负责网络连接通信,一个负 责监听 2. 监听事件就会通过网络通信发送给 zookeeper 3. zookeeper 获得注册的监听事件后,立刻将监听事件添加到监听列表里 4. zookeeper 监听到 数据变化 或 路径变化,就会将这个消息发送给监听线程 常见的监听 1. 监听节点数据的变化: get path [watch] 2. 监听子节点增减的变化: ls path [watch] 5. 监听线程就会在内部调用 process 方法(需要我们实现 process 方法内容) 3.4 写数据流程 1. Client 想向 ZooKeeper 的 Server1 上写数据,必须的先发送一个写的请求 2. 如果 Server1 不是 Leader ,那么 Server1 会把接收到的请求进一步转发给 Leader 。 3. 这个 Leader 会将写请求广播给各个 Server ,各个 Server 写成功后就会通知 Leader 。 4. 当 Leader 收到半数以上的 Server 数据写成功了,那么就说明数据写成功了。 5. 随后, Leader 会告诉 Server1 数据写成功了。 6. Server1 会反馈通知 Client 数据写成功了,整个流程结束4. Zookeeper实战(开发重点)
在/opt/zookeeper/zkData创建myid文件
[root@localhost zkData]# vim myid
打开zoo.cfg文件,增加如下配置
#######################cluster##########################
server.1=192.168.204.141:2888:3888
server.2=192.168.204.142:2888:3888
server.3=192.168.204.143:2888:3888
配置参数解读
server.A=B:C:D
A
:一个数字,表示第几号服务器
集群模式下配置的
/opt/zookeeper/zkData/myid
文件里面的数据就是
A
的值
B
:服务器的
ip
地址
C
:与集群中
Leader
服务器交换信息的端口
D
:选举时专用端口,万一集群中的
Leader
服务器挂了,需要一个端口来重新进行选举,选
出一个新的
Leader
,而这个端口就是用来执行选举时服务器相互通信的端口。
4.节点的怎删改查
首先创建一个客户端
//zookeeper集群的ip
private String connStr="192.168.58.129:2181,192.168.58.130:2181,192.168.58.131:2181";
//session超时的时间
private int session=60000;
//zooker客户端对象
private ZooKeeper zkClient;
@Before
public void init() throws IOException
zkClient = new ZooKeeper(connStr, session, new Watcher()
@Override
public void process(WatchedEvent watchedEvent)
System.out.println("得到监听反馈");
System.out.println(watchedEvent.getType());
);
节点的添加 参数一就是要创建的节点,创建节点也是一样的套路,参数二就是值
//创建节点
@Test
public void createtest() throws InterruptedException, KeeperException
//参数一是要创建的目录,参数二就是创建的内容,参数三居室权限,参数4就是类型
String s = zkClient.create("/xiaoyu/xiaoyu2", "xiaoyu666".getBytes(),
ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
System.out.println( "已创建节点="+s);
获取节点的值
//获取节点上的值
@Test
public void getjiedian() throws InterruptedException, KeeperException
//第三个参数就是获取到文件时返回的
byte[] data = zkClient.getData("/xiaoyu", false, new Stat());
String data1 = new String(data);
System.out.println("获取到的节点值为:"+data1);
查看子节点 调用这个getChildren方法她会返回一个节点集合然后遍历他就完事了
//查看子节
@Test
public void getChildren() throws InterruptedException, KeeperException
List<String> children = zkClient.getChildren("/usa/niuyue/huashengdun", false);
for (String child : children)
System.out.print(child);
System.out.println(children);
监听子节点
在第二个参数那里改成true即可,一旦节点数据变化或者子节点有变化就会给出反馈
//监听节点变化
@Test
public void watchNode() throws InterruptedException, KeeperException, IOException
//监听节点
List<String> children = zkClient.getChildren("/usa", true);
for (String child : children)
System.out.println(child);
System.out.println(children);
//让线程等待下去
System.in.read();
zookeeper的分布式锁
锁:我们在多线程中接触过,作用就是让当前的资源不会被其他线程访问! 我的日记本,不可以被别人看到。所以要锁在保险柜中 当我打开锁,将日记本拿走了,别人才能使用这个保险柜 在zookeeper中使用传统的锁引发的 “羊群效应” :1000个人创建节点,只有一个人能成功,999 人需要等待! 羊 群是一种很散乱的组织,平时在一起也是盲目地左冲右撞,但一旦有一只头羊动起来,其他的羊 也会不假思索地一哄而上,全然不顾旁边可能有的狼和不远处更好的草。羊群效应就是比喻人都有 一种从众心理,从众心理很容易导致盲从,而盲从往往会陷入骗局或遭到失败。 1. 所有请求进来,在/lock下创建 临时顺序节点 ,放心,zookeeper会帮你编号排序 2. 判断自己是不是/lock下最小的节点 1. 是,获得锁(创建节点) 2. 否,对前面小我一级的节点进行监听 3. 获得锁请求,处理完业务逻辑,释放锁(删除节点),后一个节点得到通知(比你年轻的死了,你 成为最嫩的了) 4. 重复步骤2
idea代码
1.首先我们在虚拟机里面配置了一下nginx来模拟并发的操作
2.然后进行线程模拟
3.配置锁
内部互斥锁会根据传入过来的商品id创建一个商品节点,然后在节点下面创建暂存有序的节点进行监控,从而达到锁
private String connectString="192.168.58.129:2181,192.168.58.130:2181,192.168.58.131:2181";
@RequestMapping("/product/reduce")
public Object reduce(int id)throws Exception
// 重试策略 (1000毫秒试1次,最多试3次)
RetryPolicy retryPolicy = new ExponentialBackoffRetry(1000, 3);
//1.创建curator工具对象
CuratorFramework client = CuratorFrameworkFactory.newClient(connectString, retryPolicy);
client.start();
//2.根据工具对象创建“内部互斥锁 这里第二个参数就是路径
InterProcessMutex lock=new InterProcessMutex(client,"/product_"+id);
//加锁
try
lock.acquire();
prodoctService.reduceStock(id);
finally
//释放锁
lock.release();
return "ok";
4.进行并发测试
可以看出来,五次请求成功了之后库存就清空了,所以就请求失败了
学习中遇到的小问题
1.内存不够用,随便开三台虚拟机就满了
解决:斥巨资买了根内存才解决了,现在速度咔咔猛
2.虚拟机进行远程连接的时候频繁断开
解决:去服务里把VMOMwar虚拟机的服务全部打开
3.maven依赖的问题
解决:复制错误信息去网上搜,依赖这个问题不太好排除
4.Nginx配置文件的问题
解决: 1、更改配置判断配置文件是否正确:
nginx -t -c /usr/local/nginx/conf/nginx.conf
或者
cd /usr/local/nginx/sbin/nginx -t
2、重启nginx:
kill -HUP 主进程号或进程号文件路径
或者使用
cd /usr/local/nginx/sbin/nginx -s reload
以上是关于zookeeper学习笔记的主要内容,如果未能解决你的问题,请参考以下文章