RocketMq02_复制刷盘Broker常用模式磁盘阵列集群搭建

Posted 2023-02-20 所得皆惊喜

文章目录

• ①. 单机版本安装与启动
• ②. 控制台的安装与启动
• ③. 复制刷盘、Broker集群模式
• ④. 磁盘阵列 - RAID
• ⑤.JBOD、RAID0
• ⑥. RAID1、RAID10、01
• ⑦. 搭建集群 - 异步两主两从

①. 单机版本安装与启动

• ①. 系统要求是64位的,JDK要求是1.8及其以上版本的
  
• ②. 将下载的安装包上传到Linux、将其解压到 /opt/apps目录下面

[root@rocketmq tools]# unzip rocketmq-all-4.8.0-bin-release.zip  -d /opt/apps

• ③. 修改初始内存,修改runserver.sh
  使用vim命令打开bin/runserver.sh文件。现将这些值修改为如下:
  
• ④. 修改runbroker.sh
  使用vim命令打开bin/runbroker.sh文件。现将这些值修改为如下:
  
• ⑤. 启动NameServer

nohup sh bin/mqnamesrv &
tail -f ~/logs/rocketmqlogs/namesrv.log

• ⑥. 启动broker

nohup sh bin/mqbroker -n localhost:9876 &
tail -f ~/logs/rocketmqlogs/broker.log

• ⑦. 发送/接收消息测试

# 发送消息
export NAMESRV_ADDR=localhost:9876
sh bin/tools.sh org.apache.rocketmq.example.quickstart.Producer
# 接收消息
sh bin/tools.sh org.apache.rocketmq.example.quickstart.Consumer

• ⑧. 无论是关闭name server还是broker,都是使用bin/mqshutdown命令

[root@rocketmq rocketmq]# sh bin/mqshutdown broker
The mqbroker(1740) is running...
Send shutdown request to mqbroker(1740) OK
[root@rocketmq rocketmq]# sh bin/mqshutdown namesrv
The mqnamesrv(1692) is running...
Send shutdown request to mqnamesrv(1692) OK
[2]+ 退出 143 nohup sh bin/mqbroker -n localhost:9876

②. 控制台的安装与启动

• ①. RocketMQ有一个可视化的dashboard,通过该控制台可以直观的查看到很多数据
  
• ②. 修改其src/main/resources中的application.properties配置文件。

1. 原来的端口号为8080,修改为一个不常用的
2. 指定RocketMQ的name server地址

server.contextPath=
server.port=7000
#spring.application.index=true
spring.application.name=rocketmq-console
spring.http.encoding.charset=UTF-8
spring.http.encoding.enabled=true
spring.http.encoding.force=true
logging.config=classpath:logback.xml
#if this value is empty,use env value rocketmq.config.namesrvAddr  NAMESRV_ADDR | now, you can set it in ops page.default localhost:9876
rocketmq.config.namesrvAddr=192.168.68.152:9876
#if you use rocketmq version < 3.5.8, rocketmq.config.isVIPChannel should be false.default true
rocketmq.config.isVIPChannel=
#rocketmq-console's data path:dashboard/monitor
rocketmq.config.dataPath=/tmp/rocketmq-console/data
#set it false if you don't want use dashboard.default true
rocketmq.config.enableDashBoardCollect=true

• ③. 添加依赖:在解压目录rocketmq-console的pom.xml中添加如下JAXB依赖。

	<dependency>
		<groupId>javax.xml.bind</groupId>
		<artifactId>jaxb-api</artifactId>
		<version>2.3.0</version>
	</dependency>
	<dependency>
		<groupId>com.sun.xml.bind</groupId>
		<artifactId>jaxb-impl</artifactId>
		<version>2.3.0</version>
	</dependency>
	<dependency>
		<groupId>com.sun.xml.bind</groupId>
		<artifactId>jaxb-core</artifactId>
		<version>2.3.0</version>
	</dependency>
	<dependency>
		<groupId>javax.activation</groupId>
		<artifactId>activation</artifactId>
		<version>1.1.1</version>
	</dependency>

• ④. 在rocketmq-console目录下运行maven的打包命令
  mvn clean package -Dmaven.test.skip=true

• ⑤. 启动:java -jar
  
  

③. 复制刷盘、Broker集群模式

• ①. 复制策略是Broker的Master与Slave间的数据同步方式。分为同步复制与异步复制

1. 同步复制:消息写入master后,master会等待slave同步数据成功后才向producer返回成功ACK
2. 异步复制:消息写入master后,master立即向producer返回成功ACK,无需等待slave同步数据成功
   

• ②. 刷盘策略指的是broker中消息的落盘方式,即消息发送到broker内存后消息持久化到磁盘的方式。分为同步刷盘与异步刷盘

1. 同步刷盘:当消息持久化到broker的磁盘后才算是消息写入成功
2. 异步刷盘:当消息写入到broker的内存后即表示消息写入成功,无需等待消息持久化到磁盘
   消息写入到Broker的内存,一般是写入到了PageCache
3. 对于异步刷盘策略,消息会写入到PageCache后立即返回成功ACK。但并不会立即做落盘操作,而是当PageCache到达一定量时会自动进行落盘

• ③. Broker集群模式 - 单Master:只有一个broker(其本质上就不能称为集群)。这种方式也只能是在测试时使用,生产环境下不能使用,因为存在单点问题

• ④. 多Master:broker集群仅由多个master构成,不存在Slave。同一Topic的各个Queue会平均分布在各个master节点上

1. 优点:配置简单,单个Master宕机或重启维护对应用无影响,在磁盘配置为RAID10时,即使机器宕机不可恢复情况下,由于RAID10磁盘非常可靠,消息也不会丢(异步刷盘丢失少量消息,同步刷盘一条不丢),性能最高
2. 缺点:单台机器宕机期间,这台机器上未被消费的消息在机器恢复之前不可订阅(不可消费),
   消息实时性会受到影响
3. 以上优点的前提是,这些Master都配置了RAID磁盘阵列。如果没有配置,一旦出现某Master宕
   机,则会发生大量消息丢失的情况

• ⑤. 多Master多Slave模式 - 异步复制
  broker集群由多个master构成,每个master又配置了多个slave(在配置了RAID磁盘阵列的情况下,一个master一般配置一个slave即可)。master与slave的关系是主备关系,即master负责处理消息的读写请求,而slave仅负责消息的备份与master宕机后的角色切换

1. 异步复制即前面所讲的复制策略中的异步复制策略,即消息写入master成功后,master立即向producer返回成功ACK,无需等待slave同步数据成功
2. 该模式的最大特点之一是,当master宕机后slave能够自动切换为master。不过由于slave从master的同步具有短暂的延迟(毫秒级),所以当master宕机后,这种异步复制方式可能会存在少量消息的丢失问题
3. Slave从Master同步的延迟越短,其可能丢失的消息就越少
4. 对于Master的RAID磁盘阵列,若使用的也是异步复制策略,同样也存在延迟问题,同样也可能
   会丢失消息。但RAID阵列的秘诀是微秒级的(因为是由硬盘支持的),所以其丢失的数据量会更少

• ⑥. 多Master多Slave模式-同步双写

1. 该模式是多Master多Slave模式的同步复制实现。所谓同步双写,指的是消息写入master成功后,
   master会等待slave同步数据成功后才向producer返回成功ACK,即master与slave都要写入成功后才会返回成功ACK,也即双写
2. 该模式与异步复制模式相比,优点是消息的安全性更高,不存在消息丢失的情况。但单个消息的RT略高,从而导致性能要略低(大约低10%)
3. 该模式存在一个大的问题:对于目前的版本,Master宕机后,Slave不会自动切换到Master

④. 磁盘阵列 - RAID

• ①. RAID历史
  1988年美国加州大学伯克利分校的D. A. Patterson教授等首次在论文’A Case of Redundant Array of Inexpensive Disks"中提出了RAID概念 ,即廉价冗余磁盘阵列(Redundant Array of Inexpensive Disks)。由于当时大容量磁盘比较昂贵, RAID 的基本思想是将多个容量较小、相对廉价的磁盘进行有机组合,从而以较低的成本获得与昂贵大容量磁盘相当的容量、性能、可靠性。随着磁盘成本和价格的不断降低,“廉价"已经毫无意义。因此, RAID咨询委员会(RAID Advisory Board, RAB )决定用"独立” 替代"廉价" ,于是RAID变成了独立磁盘冗余阵列(Redundant Array of Independent Disks)。但这仅仅是名称的变化,实质内容没有改变

• ②. RAID等级

1. RAID这种设计思想很快被业界接纳, RAID技术作为高性能、高可靠的存储技术得到了非常广泛的应用。RAID主要利用镜像、数据条带和数据校验三种技术来获取高性能、可靠性、容错能力和扩展性,根据对这三种技术的使用策略和组合架构,可以把RAID分为不同的等级,以满足不同数据应用的需求
2. D. A. Patterson等的论文中定义了RAID0 ~ RAID6原始RAID等级。随后存储厂商又不断推出 RAID7、 RAID10、RAID01 、 RAID50 、 RAID53 、 RAID100等RAID等级,但这些并无统一的标准。目前业界与学术界公认的标准是 RAID0 ~ RAID6,而在实际应用领域中使用最多的RAID等级是 RAID0、RAID1、RAID3、RAID5 、RAID6和RAID10
3. RAID每一个等级代表一种实现方法和技术,等级之间并无高低之分。在实际应用中,应当根据用户的数据应用特点,综合考虑可用性、性能和成本来选择合适的RAID等级,以及具体的实现方式

• ③. 镜像技术是一种冗余技术,为磁盘提供数据备份功能,防止磁盘发生故障而造成数据丢失。对于RAID而言,采用镜像技术最典型地的用法就是,同时在磁盘阵列中产生两个完全相同的数据副本,并且分布在两个不同的磁盘上。镜像提供了完全的数据冗余能力,当一个数据副本失效不可用时,外部系统仍可正常访问另一副本,不会对应用系统运行和性能产生影响。而且,镜像不需要额外的计算和校验,故障修复非常快,直接复制即可。镜像技术可以从多个副本进行并发读取数据,提供更高的读I/O性能,但不能并行写数据,写多个副本通常会导致一定的I/O性能下降(如果都要写,需要做同步、Io性能下降)
  镜像技术提供了非常高的数据安全性,其代价也是非常昂贵的,需要至少双倍的存储空间。高成本限制了镜像的广泛应用,主要应用于至关重要的数据保护,这种场合下的数据丢失可能会造成非常巨大的损失

• ④. 数据条带化技术是一种自动将 I/O操作负载均衡到多个物理磁盘上的技术。更具体地说就是,将一块连续的数据分成很多小部分并把它们分别存储到不同磁盘上。这就能使多个进程可以并发访问数据的多个不同部分,从而获得最大程度上的 I/O 并行能力,极大地提升性能

• ⑤. 数据校验技术是指, RAID 要在写入数据的同时进行校验计算,并将得到的校验数据存储在 RAID 成员磁盘中。校验数据可以集中保存在某个磁盘或分散存储在多个不同磁盘中。当其中一部分数据出错时,就可以对剩余数据和校验数据进行反校验计算重建丢失的数据

• ⑥. 从实现角度看, RAID主要分为软RAID、硬RAID以及混合RAID三种

1. 软RAID:所有功能均有操作系统和CPU来完成,没有独立的RAID控制处理芯片和I/O处理芯片,效率自然最低
2. 硬RAID:配备了专门的RAID控制处理芯片和I/O处理芯片以及阵列缓冲,不占用CPU资源。效率很高,但成本也很高
3. 混合RAID:具备RAID控制处理芯片,但没有专门的I/O处理芯片,需要CPU和驱动程序来完成。性能和成本在软RAID和硬RAID之间

⑤.JBOD、RAID0

• ①.JBOD,JustaBunchofDisks,磁盘簇。表示一个没有控制软件提供协调控制的磁盘集合,这是RAID区别与JBOD的主要因素。JBOD将多个物理磁盘串联起来,提供一个巨大的逻辑磁盘

1. JBOD的数据存放机制是由第一块磁盘开始按顺序往后存储,当前磁盘存储空间用完后,再依次往后面的磁盘存储数据。JBOD存储性能完全等同于单块磁盘,而且也不提供数据安全保护
2. JBOD常指磁盘柜,而不论其是否提供RAID功能。不过,JBOD并非官方术语,官方称为Spanning

• ②.RAID0是一种简单的、无数据校验的数据条带化技术。实际上不是一种真正的RAID,因为它并不提供任何形式的冗余策略。RAID0将所在磁盘条带化后组成大容量的存储空间,将数据分散存储在所有磁盘中,以独立访问方式实现多块磁盘的并读访问

1. 理论上讲,一个由n块磁盘组成的RAID0,它的读写性能是单个磁盘性能的n倍,但由于总线带宽等多种因素的限制,实际的性能提升低于理论值。由于可以并发执行I/O操作,总线带宽得到充分利用。再加上不需要进行数据校验,RAID0的性能在所有RAID等级中是最高的
2. RAID0具有低成本、高读写性能、100%的高存储空间利用率等优点,但是它不提供数据冗余保护,一旦数据损坏,将无法恢复
3. 应用场景:对数据的顺序读写要求不高,对数据的安全性和可靠性要求不高,但对系统性能要求很高的场景
4. RAID0与JBOD相同点:存储容量:都是成员磁盘容量总和、磁盘利用率,都是100%,即都没有做任何的数据冗余备份
5. RAID0与JBOD不同点:
   JBOD:数据是顺序存放的,一个磁盘存满后才会开始存放到下一个磁盘
   RAID0:各个磁盘中的数据写入是并行的,是通过数据条带技术写入的。其读写性能是JBOD的n倍
   

⑥. RAID1、RAID10、01

• ①. RAID1就是一种镜像技术,它将数据完全一致地分别写到工作磁盘和镜像磁盘,它的磁盘空间利用率为50% 。 RAID1在数据写入时,响应时间会有所影响,但是读数据的时候没有影响。RAID1提供了最佳的数据保护,一旦工作磁盘发生故障,系统将自动切换到镜像磁盘,不会影响使用

1. RAID1是为了增强数据安全性使两块磁盘数据呈现完全镜像,从而达到安全性好、技术简单、管理方便。 RAID1拥有完全容错的能力,但实现成本高
2. 应用场景:对顺序读写性能要求较高,或对数据安全性要求较高的场景
   

• ②. RAID10是一个RAID1与RAID0的组合体,所以它继承了RAID0的快速和RAID1的安全
  简单来说就是,先做条带,再做镜像。 发即将进来的数据先分散到不同的磁盘,再将磁盘中的数据做镜像
  

• ③. RAID01是一个RAID0与RAID1的组合体,所以它继承了RAID0的快速和RAID1的安全
  简单来说就是,先做镜像再做条带。 即将进来的数据先做镜像,再将镜像数据写入到与之前数据不同的磁盘,即再做条带(RAID10要比RAID01的容错率再高,所以生产环境下一般是不使用RAID01的) - RAID01如果一个坏了,对应的一组都是不能使用的
  

⑦. 搭建集群 - 异步两主两从

• ①. VMware克隆
  

# 修改hostname
vi /etc/hostname
# 修改虚拟机ip地址
vi /etc/sysconfig/network-scripts/ifcfg-ens33
# 修改完之后,记得重启network
systemctl restart network

• ②. conf文件下,RocketMQ官方为我们提供了三种集群配置形式

[root@rocketmqOs2 conf]# pwd 
/opt/apps/rocketmq-all-4.8.0-bin-release/conf
[root@rocketmqOs2 conf]# ll
总用量 52
drwxr-xr-x. 2 root root  4096 10月 23 2020 2m-2s-async
drwxr-xr-x. 2 root root  4096 10月 23 2020 2m-2s-sync
drwxr-xr-x. 2 root root  4096 12月  4 2020 2m-noslave
-rw-r--r--. 1 root root   949 10月 23 2020 broker.conf
drwxr-xr-x. 2 root root  4096 12月  4 2020 dledger
-rw-r--r--. 1 root root 14978 10月 23 2020 logback_broker.xml
-rw-r--r--. 1 root root  3836 12月  4 2020 logback_namesrv.xml
-rw-r--r--. 1 root root  3761 10月 23 2020 logback_tools.xml
-rw-r--r--. 1 root root  1305 12月  4 2020 plain_acl.yml
-rw-r--r--. 1 root root   834 12月  4 2020 tools.yml
[root@rocketmqOs2 conf]# 

• ③. rocketmqOS1 - 修改borker-a.application
  (rocketmqOS2 - 修改borker-b.application)

# 指定整个broker集群的名称,或者说是RocketMQ集群的名称
brokerClusterName=DefaultCluster
# 指定master-slave集群的名称。一个RocketMQ集群可以包含多个master-slave集群
brokerName=broker-a
# master的brokerId为0
brokerId=0
# 指定删除消息存储过期文件的时间为凌晨4点
deleteWhen=04
# 指定未发生更新的消息存储文件的保留时长为48小时,48小时后过期,将会被删除
fileReservedTime=48
# 指定当前broker为异步复制master
brokerRole=ASYNC_MASTER
# 指定刷盘策略为异步刷盘
flushDiskType=ASYNC_FLUSH
# 指定Name Server的地址
namesrvAddr=192.168.68.152:9876;192.168.68.153:9876

• ④. rocketmqOS1 - 修改broker-b-s.properties
  (rocketmqOS2 - 修改broker-a-s.properties)

# 指定这是另外一个master-slave集群
brokerClusterName=DefaultCluster
brokerName=broker-b
# slave的brokerId为非0
brokerId=1
deleteWhen=04
fileReservedTime=48
# 指定当前broker为slave
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH
namesrvAddr=192.168.68.152:9876;192.168.68.153:9876
# 指定Broker对外提供服务的端口,即Broker与producer与consumer通信的端口。默认
# 10911。由于当前主机同时充当着master1与slave2,而前面的master1使用的是默认端口。这
# 里需要将这两个端口加以区分,以区分出master1与slave2
listenPort=11911
# 指定消息存储相关的路径。默认路径为~/store目录。由于当前主机同时充当着master1与
# slave2,master1使用的是默认路径,这里就需要再指定一个不同路径
storePathRootDir=~/store-s
storePathCommitLog=~/store-s/commitlog
storePathConsumeQueue=~/store-s/consumequeue
storePathIndex=~/store-s/index
storeCheckpoint=~/store-s/checkpoint
abortFile=~/store-s/abort

• ⑤. 启动服务器:启动NameServer集群
  分别启动rocketmqOS1与rocketmqOS2两个主机中的NameServer。启动命令完全相同。

# 在这个目录下执行
[root@rocketmqOs2 rocketmq-all-4.8.0-bin-release]# 

nohup sh bin/mqnamesrv &
tail -f ~/logs/rocketmqlogs/namesrv.log

• ⑥. 启动两个Master
  分别启动rocketmqOS1与rocketmqOS2两个主机中的broker master。注意,它们指定所要加载的配置文件是不同的

nohup sh bin/mqbroker -c conf/2m-2s-async/broker-a.properties &
tail -f ~/logs/rocketmqlogs/broker.log

nohup sh bin/mqbroker -c conf/2m-2s-async/broker-b.properties &
tail -f ~/logs/rocketmqlogs/broker.log

• ⑦. 启动两个Slave
  分别启动rocketmqOS1与rocketmqOS2两个主机中的broker slave。注意,它们指定所要加载的配置文件是不同的

nohup sh bin/mqbroker -c conf/2m-2s-async/broker-b-s.properties &
tail -f ~/logs/rocketmqlogs/broker.log

nohup sh bin/mqbroker -c conf/2m-2s-async/broker-a-s.properties &
tail -f ~/logs/rocketmqlogs/broker.log

• ⑧. 修改控制台,可以通过浏览器的方式查看

server.contextPath=
server.port=7000
#spring.application.index=true
spring.application.name=rocketmq-console
spring.http.encoding.charset=UTF-8
spring.http.encoding.enabled=true
spring.http.encoding.force=true
logging.config=classpath:logback.xml
#if this value is empty,use env value rocketmq.config.namesrvAddr  NAMESRV_ADDR | now, you can set it in ops page.default localhost:9876
rocketmq.config.namesrvAddr=192.168.68.152:9876;192.168.68.153:9876
#if you use rocketmq version < 3.5.8, rocketmq.config.isVIPChannel should be false.default true
rocketmq.config.isVIPChannel=
#rocketmq-console's data path:dashboard/monitor
rocketmq.config.dataPath=/tmp/rocketmq-console/data
#set it false if you don't want use dashboard.default true
rocketmq.config.enableDashBoardCollect=true