PulsarZooKeeperBookKeeper 作用简述

Posted 2021-03-15 banxian-yi

Pulsar:采取了存储计算分离的技术
ZooKeeper 集群的作用和在 Kafka 中是一样的，都是被用来存储元数据。BookKeeper 集群则被用来存储消息数据。
BookKeeper 有点儿类似 HDFS，是一个分布式的存储集群，存储单元是ledger，Ledger可以简单的理解为某个主题队列中的一段，包含了连续的若干条消息（entry），为了保证Ledger中entry的严格顺序，pulsar为Ledger增加了一次性写入限制，解决并发写入控制，只有创建Ledger的broker可以写入数据，不管什么原因导致Ledger关闭，该Ledger就只能读不能写了。