从发布-订阅模式到消息队列

Posted 2023-05-03

参考技术A 发布-订阅模式又称为观察者模式（网上也有很多说这两种模式区别，个人觉得区别不大），在发布-订阅模式中，主要是两大块。就是发布和订阅，那么发布（publish）和订阅(subscribe)之前的关联点就是主题(topic).
举个生活的例子，午餐定外卖，燕姐（broker）在外卖群里发布了两个可以点的餐馆，都城和辉记（这个可以称为主题），小明(Consumer)点了辉记的，文哥(Consumer)点了都城的（这个可以称为订阅），都城餐馆（producer）和辉记餐馆（producer）做好了饭菜就回给外卖小哥送过来（消息协议），饭菜到了燕姐那里之后，那么小明和文哥就能去燕姐那里去拿（pull），也可以燕姐送过来（push）。这就是我们生活中最常见的发布-订阅模式。

从上文中可以得到，外卖群是一个载体(MQ)，承载消息的存储和传送，从这里可以引出消息队列的这个概念，下面，继续说下消息队列。

MQ (Message Queue) 又称消息队列. 队列我们都知道，那什么是消息呢？消息指的是同一台机器的进程之间，或不同机器之间传输的数据。最简单的说，我们一个Rpc 请求，所带的数据就是一个消息。这就是传统的通信模式。但是这种模式有很多缺陷，例如当网络不好的时候，这种调用可能会丢失。

队列提供了一种一步通信协议，这意味着消息的发送者和接收者不需要同时于消息保持联系，发送者的消息会存储在队列中，直到接收者拿到它。 一般我们把消息的发送者称为生产者，消息的接收者称为消费者。由于生产者和消费者之间是不透明的，他们靠中间的纽带-队列来联系，那么在队列中，是消费者占主动还是生产者占主动呢，其实根据不同的获取消息的方式可以分为 pull or push 着两种。按字面上的理解，就是pull 是消费者需要自己控制去队列拉取消息，而push则是生产者占主动位置，将产生的消息push 给消费者，而这种push 可以点对点，也可以是一对多，而这种一对多的模式就是我们常说的广播模式

在分布式系统中，消息中间件是非常重要的组件，主要解决应用耦合，异步消息，流量削峰等问题。

常用的消息队列中间件有 activeMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ
(可参考 https://mp.weixin.qq.com/s/ad7jibTb5nTzh3nDQYKFeg ? 觉得这篇文章写得很不错也很详细)

这次我主要写的是kafka 这个消息中间件，kafka 是采用pull 这种模式来消费信息的，生产者将消息放入队列中，而消费者可以通过epull 方法获取消息来消费，下面还是先说下kafka 的几个关键概念吧

Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目

主要应用场景是：日志收集系统和消息系统。

Kafka主要设计目标如下：

同时支持离线数据处理和实时数据处理。

一个典型的kafka集群中包含若干producer，若干broker，若干consumer，以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置，选举leader，以及在consumer group发生变化时进行rebalance。producer使用push模式将消息发布到broker，consumer使用pull模式从broker订阅并消费消息。

Topic & Partition

一个topic可以认为一个一类消息，每个topic将被分成多个partition，每个partition在存储层面是append log文件。

在Kafka文件存储中，同一个topic下有多个不同partition，每个partition为一个目录，partiton命名规则为topic名称+有序序号，第一个partiton序号从0开始，序号最大值为partitions数量减1

每个partion（目录）相当于一个巨型文件被平均分配到多个大小相等segment（段）数据文件中。但每个段segment file消息数量不一定相等，这种特性方便old segment file快速被删除。

每个partiton只需要支持顺序读写就行了，segment文件生命周期由服务端配置参数决定。

这样做的好处就是能快速删除无用文件，有效提高磁盘利用率。

segment file组成：由2大部分组成，分别为index file和data file，此2个文件一一对应，成对出现，后缀".index"和“.log”分别表示为segment索引文件、数据文件.

segment文件命名规则：partion全局的第一个segment从0开始，后续每个segment文件名为上一个segment文件最后一条消息的offset值。数值最大为64位long大小，19位数字字符长度，没有数字用0填充。

同一Topic的一条消息只能被同一个Consumer Group内的一个Consumer消费，但多个Consumer Group可同时消费这一消息。

这是Kafka用来实现一个Topic消息的广播（发给所有的Consumer）和单播（发给某一个Consumer）的手段。一个Topic可以对应多个Consumer Group。如果需要实现广播，只要每个Consumer有一个独立的Group就可以了。要实现单播只要所有的Consumer在同一个Group里。用Consumer Group还可以将Consumer进行自由的分组而不需要多次发送消息到不同的Topic。

参考：

http://www.linkedkeeper.com/detail/blog.action?bid=1016&hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io

RabbitMQ发布订阅模式

这个可能是消息队列中最重要的队列了，其他的都是在它的基础上进行了扩展。
功能实现：一个生产者发送消息，多个消费者获取消息（同样的消息），包括一个生产者，一个交换机，多个队列，多个消费者。
 思路解读（重点理解）： 
（1）一个生产者，多个消费者
（2）每一个消费者都有自己的一个队列
（3）生产者没有直接发消息到队列中，而是发送到交换机
（4）每个消费者的队列都绑定到交换机上
（5）消息通过交换机到达每个消费者的队列
该模式就是Fanout Exchange（扇型交换机）将消息路由给绑定到它身上的所有队列
以用户发邮件案例讲解
注意：交换机没有存储消息功能，如果消息发送到没有绑定消费队列的交换机，消息则丢失。

交换机的作用：

生产者发送消息不会向传统方式直接将消息投递到队列中，而是先将消息投递到交换机中，在由交换机转发到具体的队列，队列在将消息以推送或者拉取方式给消费者进行消费，这和我们之前学习Nginx有点类似。
交换机的作用根据具体的路由策略分发到不同的队列中，交换机有四种类型。
Direct exchange（直连交换机）是根据消息携带的路由键（routing key）将消息投递给对应队列的
Fanout exchange（扇型交换机）将消息路由给绑定到它身上的所有队列
Topic exchange（主题交换机）队列通过路由键绑定到交换机上，然后，交换机根据消息里的路由值，将消息路由给一个或多个绑定队列
Headers exchange（头交换机）类似主题交换机，但是头交换机使用多个消息属性来代替路由键建立路由规则。通过判断消息头的值能否与指定的绑定相匹配来确立路由规则。

 

 

Rabbit高级队列（发布订阅）

  生产者投递消息给交换机缓存起来（不会直接给队列），交换机根据路由策略RoutingKey转发到不同的队列服务器中。队列服务器再以推送或者拉取形式让消费者消费。（类似Nginx）

  

RabbitMQ发布与订阅原理：

   案例：   用户注册 ---> 发送邮件 --->发送短信