关于MQ的几件小事如果让你设计一个MQ,你怎么设计

Posted jack1995

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了关于MQ的几件小事如果让你设计一个MQ,你怎么设计相关的知识,希望对你有一定的参考价值。

其实回答这类问题,说白了,起码不求你看过那技术的源码,起码你大概知道那个技术的基本原理,核心组成部分,基本架构构成,然后参照一些开源的技术把一个系统设计出来的思路说一下就好

比如说这个消息队列系统,我们来从以下几个角度来考虑一下

(1)首先这个mq得支持可伸缩性吧,就是需要的时候快速扩容,就可以增加吞吐量和容量,那怎么搞?设计个分布式的系统呗,参照一下kafka的设计理念,broker -> topic -> partition,每个partition放一个机器,就存一部分数据。如果现在资源不够了,简单啊,给topic增加partition,然后做数据迁移,增加机器,不就可以存放更多数据,提供更高的吞吐量了?

(2)其次你得考虑一下这个mq的数据要不要落地磁盘吧?那肯定要了,落磁盘,才能保证别进程挂了数据就丢了。那落磁盘的时候怎么落啊?顺序写,这样就没有磁盘随机读写的寻址开销,磁盘顺序读写的性能是很高的,这就是kafka的思路。

(3)其次你考虑一下你的mq的可用性啊?这个事儿,具体参考我们之前可用性那个环节讲解的kafka的高可用保障机制。多副本 -> leader & follower -> broker挂了重新选举leader即可对外服务。

(4)能不能支持数据0丢失啊?可以的,参考我们之前说的那个kafka数据零丢失方案

其实一个mq肯定是很复杂的,其实这是个开放题,就是看看你有没有从架构角度整体构思和设计的思维以及能力。

如果你还不清楚,请参考前面几篇
消息队列的用途、优缺点、技术选型
如何保证消息队列的高可用
如何保证消息不重复消费
如何防止数据队列数据丢失
如何保证消息按顺序执行
消息积压在消息队列里怎么办

以上是关于关于MQ的几件小事如果让你设计一个MQ,你怎么设计的主要内容,如果未能解决你的问题,请参考以下文章

关于MQ的几件小事消息队列的用途优缺点技术选型

关于MQ的几件小事如何保证消息不丢失

关于MQ面试的几件小事 | 如何保证消息队列高可用和幂等

关于MQ的几件小事如何保证消息不重复消费

关于MQ的几件小事如何保证消息队列的高可用

关于Redis的几件小事 | 高并发和高可用