15. 使用Apache Curator管理ZooKeeper

Posted 2020-10-17 尽信书不如无书

Apache ZooKeeper是为了帮助解决复杂问题的软件工具，它可以帮助用户从复杂的实现中解救出来。 然而，ZooKeeper只暴露了原语，这取决于用户如何使用这些原语来解决应用程序中的协调问题。 社区已经在ZooKeeper数据模型及其API之上开发了高级框架。 Apache Curator是一个高级的包装类库和框架，使得ZooKeeper非常简单易用。

Tips
Curator最初由Netflix开发，现在是一个Apache项目。 项目页面位于http://curator.apache.org/。

一 Curator组件

Curator是ZooKeeper的高级类库；它使处理ZooKeeper变得更容易，并扩展了核心ZooKeeper的功能。 Curator在高层次上由以下部分组成：

• Client：Curator客户端是ZooKeeper的Java客户端的一个包装器。 它是Curator堆栈中的一个低级API，并且抽象出ZooKeeper客户端的功能。
• Framework：Curator框架是一个具有高级功能的高级API，如自动连接管理，操作重试等等。 它在很大程度上简化了ZooKeeper的使用。
• Recipe：Curator Recipe提供ZooKeeper Recipe的实现； 这些实现可以直接用于分布式应用程序来解决协调问题。
• Extensions：Curator Recipe包实现了常见的Recipe。 为了避免这个包的膨胀，使用一个单独的扩展包。

除了前面的组件外，Curator还附带一些ZooKeeper有用的工具。 Curator堆栈如下图所示：

Curator JARs可以在Maven Central的仓库中找到。 Curator可以很容易地包含在Maven，Gradle，Ivy，SBT等构建脚本中。

各种Maven artifacts在http://mvnrepository.com/artifact/org.apache.curator上列出。

二 Curator客户端

Curator Client是ZooKeeper Java客户端的一个包装器。它使客户端访问ZooKeeper更简单，更不易出错。

Curator客户端提供以下功能：

• 连接管理：管理与ZooKeeper服务器的连接
• 操作重试实用程序：这是重试操作的机制
• 测试ZooKeeper服务器：这是用于测试ZooKeeper服务器

使用Curator客户端连接ZooKeeper服务器的MyCuratorClient.java的代码片段如下：

public void myCuratorClient() throws Exception
{
  CuratorZookeeperClient client = new CuratorZookeeperClient(server.getConnectString(), 10000, 10000, null,new RetryOneTime(1));
  client.start();
  try
  {
    client.blockUntilConnectedOrTimedOut();
    String path = client.getZooKeeper().create("/test_znode", "".getBytes(),ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
  }
  finally
  {
    client.close();
  }
}

CuratorZooKeeperClient构造方法用于连接到ZooKeeper服务器。 它需要连接字符串或ZooKeeper主机端口对列表，会话和连接超时时间，可选的观察器对象以及要使用的重试策略。 重试策略是客户端在重试连接时尝试各种重试机制的机制。在前面的例子中，使用了一个客户端只会重试一次的策略。

Curator客户端支持以下重试策略：

• BoundedExponentialBackoffRetry：通过增加重试之间的休眠时间直到最大上限重试指定的次数
• ExponentialBackoffRetry：通过增加重试之间的休眠时间来重试指定的次数
• RetryNTimes：重试n次
• RetryOneTime：只重试一次
• RetryUntilElapsed：一直重试，直到超过指定时间

一旦客户端启动，blockUntilConnectedOrTimedOut方法直到ZooKeeper连接服务器成功或者连接超时。连接成功之后，创建/testznode的znode。getZooKeeper()方法将连接的实例返回给托管的ZooKeeper服务器。

Note
Curator API文档可在http://curator.apache.org/apidocs/index.html察看。

Curator客户端是一个低层次的API，它提供了对管理员客户端API的抽象。开发人员应该使用Curator框架，而不是直接在他们的应用程序中使用CuratorZookeeperClient类作为最佳实践。

三 Curator框架

Curator框架（org.apache.curator.framework）是一个高层次的API，很大程度上简化了ZooKeeper的使用。 它提供的一些功能如下：

• 自动连接管理：此功能自动且透明地处理客户端需要重新建立与ZooKeeper服务器的连接和/或重试操作的场景。
• 简单而灵活的API：使用一组新式且流畅的接口来应用ZooKeeper原始的API。
• Recipe：这个功能实现了常见的ZooKeeper Recipe。

CuratorFramework使用CuratorFrameworkFactory进行分配。 它提供了工厂方法以及构造器创建实例。CuratorFramework实例完全是线程安全的。在使用CuratorFramework开发应用程序时，开发人员应该为每个ZooKeeper集群创建和共享一个CuratorFramework实例。CuratorFramework使用fluent风格接口。

以下展示的是ZooKeeper客户端使用CuratorFramework的代码示例：

public void myCuratorFrameworkClient()
throws Exception
{
  CuratorFramework client =
  CuratorFrameworkFactory.newClient(server.getConnectString(), new RetryOneTime(1));
  client.start();
  try
  {
    String path = client.create().withMode(
    CreateMode.PERSISTENT).forPath(
    "/test_znode", "".getBytes());
  }
  finally
  {
    client.close();
  }
}

newClient()工厂方法创建一个新的客户端实例，默认会话超时和默认连接超时。 它需要一个连接字符串，是ZooKeeper主机-端口对列表和要使用的重试策略。

CuratorFramework有一个命名空间的概念。 通过这个，可以在使用构造器方法创建CuratorFramework实例时设置命名空间。 当其中一个API被调用时，该框架将该命名空间预加载到所有路径：

CuratorFrameworkFactory.Builder builder = CuratorFrameworkFactory.builder();
CuratorFramework client = builder.connectString (server.getConnectString()).namespace("MyApp").retryPolicy(new RetryOneTime(1)).build();
client.create().forPath("/test_znode", data);

在这里，尽管znode的名称被指定为/test_znode，但是创建的实际znode是/MyApp/test_znode。

Curator框架还提供了一个名为CuratorTempFramework的有限功能框架接口，用于通过不可靠的网络（如WAN）进行临时连接。 在这个框架中，如果会话保持空闲一段时间，ZooKeeper连接将被关闭。

四 Curator recipe

Curator为ZooKeeper提供了一系列随时可用的recipe。 Curator实现的recipe的详细列表和描述可以从http://curator.apache.org/curator-recipes/index.html的项目页面中获取。

在这里，将简略地介绍一下ZooKeeper的recipe：

• 领导者选举：Curator为领导选举提供了两种算法：领导者锁定（leader latch）和领导者选择（ leader selector）。两种算法在连接到Zookeeper集群的多个竞争者中选择一个“领导者”。
  在领导者锁定中，如果一组n个参与者与竞争领导，则将n个参与者中的一个随机分配为领导，而在领导选择中，按照到达该Zookeeper服务器的请求的顺序来选择领导。 当领导者解除领导时，选择集群中的n个参与者的另一个竞争者。
• 锁：Curator实现以下不同类型的分布式锁：
  • 共享重入锁：这种类型的锁提供全局同步的全分布锁。
  • 共享锁：这是非重入共享重入锁。
  • 共享重入读/写锁：这是一个可跨JVM使用的重入读/写互斥锁。
  • 共享信号量：这是一个计数信号量（semaphore），可以跨JVM使用。
  • 多锁共享：这是用来管理多个锁作为一个单一的实体。 acquire()调用获取所有的锁。 如果呼叫失败，所有获得的路径被释放。 release()调用释放所有托管的锁。
• 屏障（Barrier）：这是屏障和双重屏障的具体实现。
• 计数器：提供了一种机制来管理共享计数器的共享整数。它还给出了分布式原子增量的分布式原子长整型，分布式原子整型和分布式原子值的机制。
• 缓存：缓存是通过路径缓存，节点缓存和树缓存recipe实现的，分别保存ZK路径的znode，本地缓存节点和所有本地缓存的子节点的状态变化数据。
• 队列：这提供了分布式队列实现。 支持以下不同类型的队列：
  • 分布式队列：这是一个简单的分布式队列，其中放入队列中的条目是在FIFO中排序的。
  • 分布式ID队列：这是一个分布式队列的版本，允许一些标识符与队列项相关联。
  • 分布式优先级队列:这是ZooKeeper的分布式优先级队列的实现。在内部，它使用一个分布式队列，其中可以将优先级指定给项目。
  • 分布式延迟队列：这是使用时间作为优先级的分布式优先级队列的变体。当将条目添加到队列时，会给出一个延迟值。直到超过延迟时间，该项目将被发送给消费者。
  • 简单的分布式队列：这是ZooKeeper分布式org.apache.zookeeper.recipes.queue.DistributedQueue队列的一部分替代实现。
• 节点：这提供了一个persistent ephemeral节点的recipe；这是一个ephemeral的节点，即使在连接和会话中断的情况下也会试图保持在ZooKeeper中。

五 Curator实用程序

Curator类库也为ZooKeeper提供了一些有用的工具。 其中一些如下所示：

• Test server：这是一个可用于本地进程ZooKeeper服务器的测试
• Test cluster：这是一个内部运行的用于ZooKeeper服务器ensemble的测试
• ZKPaths：提供了各种使用ZooKeeper znode路径的静态方法
• EnsurePath：确保在使用之前创建特定znode路径的实用程序
• BlockingQueueConsumer：一个类似于Java中的BlockingQueue的队列消费者
• Reaper：删除没有子节点的路径和没有数据的节点的实用程序

六 Curator扩展

Curator扩展包除了包含在recipe包中那些外，还包括额外的recipe。 扩展包中的recipe具有curator-x-name的命名约定。

Curator目前提供以下扩展功能：

• Service discovery：这是一个使用ZooKeeper作为服务发现机制的系统。
• Service discovery server：这是一个使用REST服务进行非Java和遗留程序的Curator服务发现。 它公开RESTful Web服务来注册，删除和查询服务。
• Curator RPC proxy：该模块实现了一个代理，将非Java环境与Curator框架和recipe桥接在一起。 它使用Apache Thrift，使大量的语言和环境使用Curator的功能，并统一ZooKeeper跨语言/环境的用法。
• ZKClient bridge：这个扩展是Curator和ZKClient之间的桥梁（https://github.com/sgroschupf/zkclient）。 使用ZKClient编写的应用程序在不改变现有代码的情况下使用Curator类库会非常有用。 ZKClient bridge不作为Curator分发的一部分进行打包。 它可以在它自己的Maven中心存储库中的curator-x-zkclient-bridge中找到。

到目前为止，我们已经了解Curator类库及其各种组件。Curator为ZooKeeper API实现了一个非常好的，可靠的扩展，将ZooKeeper的许多复杂性抽象出来。 强烈建议开发人员使用Curator在Java语言的ZooKeeper开发分布式应用程序。 不仅如此，Curator的强大功能也可以从Java以外的语言编写的应用程序中使用。