Java分布式：消息队列（Message Queue）

Posted 2021-02-12 子烁爱学习

Java分布式：消息队列（Message Queue）

引入消息队列

　　消息，是服务间通信的一种数据单位，消息可以非常简单，例如只包含文本字符串；也可以更复杂，可能包含嵌入对象。队列，是一种常见的数据结构，它是保存消息的容器。那么消息队列就是以消息为基本单位的优先队列。

　　　　

　　

　　借助消息队列，系统的不同部分可相互通信并异步执行处理操作。消息队列提供一个临时存储消息的轻量级缓冲区，以及允许软件组件连接到队列以发送和接收消息的终端节点。这些消息通常较小，可以是请求、恢复、错误消息或明文信息等。 

 

为什么使用消息队列

　　链式调用是我们写程序时候的一般流程，为了完成一个整体功能，会将其拆分为多个函数或子模块，比如A模块调用B，B模块调用C，C模块调用D。但在大型分布式应用中，系统间的RPC交互繁杂，一个功能背后要调用上百个接口并非不可能，这种架构有如下几个劣势：

• 接口之间耦合严重，每增加一个下游功能，都需要对上游的相关接口进行改造。　　

• 面对大流量并发时，容易被冲垮。每个接口模块的吞吐能力是有限的，大流量数据容易冲垮服务。
• 性能问题。RPC接口基本上是同步调用，整体的服务器遵循“木桶理论”，即链路中最慢的那个接口，直接拖累了整个服务性能。比如A调用B、C和D（三者并行），D花费时间最长，那么A必须要等到D完成才能继续。　　

 

消息队列解决痛点

消息队列在实际应用中包括如下四个场景：

• 应用耦合：多应用间通过消息队列对同一消息进行处理，避免调用接口失败导致整个过程失败；
• 异步处理：多应用对消息队列中同一消息进行处理，应用间并发处理消息，相比串行处理，减少处理时间；
• 限流削峰：广泛应用于秒杀或抢购活动中，避免流量过大导致应用系统挂掉的情况；
• 消息驱动的系统：系统分为消息队列、消息生产者、消息消费者，生产者负责产生消息，消费者(可能有多个)负责对消息进行处理；

　　

消息队列实现原理

服务如何将消息可靠投递到MQ

1.Client发送消息给MQ

2.MQ将消息持久化后，发送Ack消息给Client，此处有可能因为网络问题导致Ack消息无法发送到Client，那么Client在等待超时后，会重传消息；

3.Client收到Ack消息后，认为消息已经投递成功。

　　

MQ如何将消息可靠投递到服务

1.MQ将消息push给Client（或Client来pull消息）

2.Client得到消息并做完业务逻辑

3.Client发送Ack消息给MQ，通知MQ删除该消息，此处有可能因为网络问题导致Ack失败，那么Client会重复消息，这里就引出消费幂等的问题；

4.MQ将已消费的消息删除

　　

 

幂等性

　　在编程中一个幂等操作的特点是其任意多次执行所产生的影响均与一次执行的影响相同，比如你在订单支付的时候，你觉得网络卡顿，点击了多次付款，支付宝仅仅只扣你一次钱，而不是扣你多次钱。也即是说我执行了多次相同的操作，结果是系统只做一次，其他操作都忽视，这样就不会有累积效应。更通俗一点就是可以理解为防止多次提交，比如问卷调出的提交。

什么情况下需要保证幂等性

以SQL为例，有下面三种场景，只有第三种场景需要开发人员使用其他策略保证幂等性：

SELECT col1 FROM tab1 WHER col2=2，无论执行多少次都不会改变状态，是天然的幂等。

UPDATE tab1 SET col1=1 WHERE col2=2，无论执行成功多少次状态都是一致的，因此也是幂等操作。

UPDATE tab1 SET col1=col1+1 WHERE col2=2，每次执行的结果都会发生变化，这种不是幂等的。

保证幂等的策略

乐观锁

　　如果只是更新已有的数据，没有必要对业务进行加锁，设计表结构时使用乐观锁，一般通过version来做乐观锁，这样既能保证执行效率，又能保证幂等。例如：

UPDATE tab1 SET col1=1,version=version+1 WHERE version=#version#

防重表

　　使用订单号orderNo做为去重表的唯一索引，每次请求都根据订单号向去重表中插入一条数据。第一次请求查询订单支付状态，当然订单没有支付，进行支付操作，无论成功与否，执行完后更新订单状态为成功或失败，删除去重表中的数据。后续的订单因为表中唯一索引而插入失败，则返回操作失败，直到第一次的请求完成（成功或失败）。可以看出防重表作用是加锁的功能。

　　

分布式锁

　　这里使用的防重表可以使用分布式锁代替，比如Redis。订单发起支付请求，支付系统会去Redis缓存中查询是否存在该订单号的Key，如果不存在，则向Redis增加Key为订单号。查询订单支付已经支付，如果没有则进行支付，支付完成后删除该订单号的Key。通过Redis做到了分布式锁，只有这次订单订单支付请求完成，下次请求才能进来。相比去重表，将放并发做到了缓存中，较为高效。思路相同，同一时间只能完成一次支付请求。

　　关于Redis实现分布式锁，可以看下沉思君之前的文章：如何优雅地用Redis实现分布式锁。

token令牌

　　这种方式分成两个阶段：申请token阶段和支付阶段。

• 第一阶段，在进入到提交订单页面之前，需要订单系统根据用户信息向支付系统发起一次申请token的请求，支付系统将token保存到Redis缓存中，为第二阶段支付使用。
• 第二阶段，订单系统拿着申请到的token发起支付请求，支付系统会检查Redis中是否存在该token，如果存在，表示第一次发起支付请求，删除缓存中token后开始支付逻辑处理；如果缓存中不存在，表示非法请求。

　　实际上这里的token是一个信物，支付系统根据token确认，你是你妈的孩子。不足是需要系统间交互两次，流程较上述方法复杂。

　　

支付缓冲区

　　把订单的支付请求都快速地接下来，一个快速接单的缓冲管道。后续使用异步任务处理管道中的数据，过滤掉重复的待支付订单。
优点是同步转异步，高吞吐。不足是不能及时地返回支付结果，需要后续监听支付结果的异步返回。