rabbitMQ_rpc

Posted 2020-09-22 zhenhong

远程过程调用（RPC）

在前面我们已经学习了如何使用工作队列在多个消费者之间分配耗时的任务。

但是如果我们需要在远程计算机上运行功能并等待结果怎么办？那将会是一个不同的故事。此模式通常称为远程过程调用或RPC。

在本教程中，我们将使用RabbitMQ构建一个RPC系统：一个客户端和一个可扩展的RPC服务器。由于我们没有任何值得分发的耗时任务，我们将创建一个返回斐波纳契数字的虚拟RPC服务。

客户端界面

为了说明如何使用RPC服务，我们将创建一个简单的客户端类。它将公开一个名为call的方法，该方法发送RPC请求并阻塞，直到收到答案：

FibonacciRpcClient fibonacciRpc = new FibonacciRpcClient（）;
String result = fibonacciRpc.call（“4”）;
System.out.println（“fib（4）is” + result）;

关于RPC的小记

虽然RPC是一个很常见的计算模式，但它经常收到批判。当程序员不知道函数调用是本地函数还是缓慢的RPC时，会出现问题。这样的混乱导致了一个不可预知的系统，并增加了调试的不必要的复杂性。而不是简化软件，滥用RPC可能导致不可维护的意大利面条式代码。

考虑到这一点，请考虑以下建议：

• 确保显而易见。哪个函数调用是本地的，哪个是远程的。
• 记录您的系统。使组件之间的依赖关系清除。
• 处理错误情况。当RPC服务器长时间停机时，客户端应该如何反应？

当有疑问请避免RPC。如果可以的话，你应该使用异步管道 - 而不是类似RPC的阻塞，结果被异步推送到下一个计算阶段。

回调队列

一般来说RPC在RabbitMQ上很容易。客户端发送请求消息（客户端发送请求时充当生产者，接收响应时又为消费者），服务器回复响应消息（服务器返回响应充当生产者，接收请求充当消费者）。为了收到响应，我们需要发送一个‘回调‘队列地址与请求。我们可以使用默认队列（在Java客户端中是排他性的）。我们来试试吧

callbackQueueName = channel.queueDeclare().getQueue（）;

BasicProperties props = new BasicProperties
                            .Builder（）
                            .replyTo（callbackQueueName）
                            .build（）;

channel.basicPublish（“”，“rpc_queue”，props，message.getBytes（））;

// ...然后代码从callback_queue读取一个响应消息...

消息属性

AMQP 0-9-1协议为消息预定义了一组含有14个属性的集合。大多数属性很少使用，除了以下内容：

• deliveryMode：将消息标记为持久性（值为2）或transient（任何其他值）。
• contentType：用于描述mime类型的编码。例如对于经常使用的JSON编码，将此属性设置为：application / json是一个很好的做法。
• replyTo：通常用来命名一个回调队列。
• correlationId：用于将RPC响应与请求相关联。

我们需要这个新的导入：

import com.rabbitmq.client.AMQP.BasicProperties;

关联标识

在上面提出的方法中，我们建议为每个RPC请求创建一个回调队列。这是非常低效的，但幸运的是有一个更好的方法 - 让我们为每个客户端创建一个回调队列。

这引发了一个新的问题，在该队列中收到响应，响应所属的请求不清楚。那么可以使用correlationId属性区分。我们将为每个请求设置唯一的值。之后，当我们在回调队列中收到一条消息时，我们将查看此属性，并且基于此，我们将能够将响应与请求相匹配。如果我们看到一个未知的 correlationId值，我们可能会安全地丢弃该消息 - 它不属于我们的请求。

您可能会问，为什么我们应该忽略回调队列中的未知消息，而不是出现错误？这是由于在服务器端发生竞争条件的可能性。尽管不太可能，RPC服务器可能会在发送给我们的回应之后，却在发送请求的确认消息之前down机。如果发生这种情况，重新启动的RPC服务器将再次处理该请求。这就是为什么在客户端上，我们必须优雅地处理这些重复的响应，而RPC应该理想地是幂等的。

概要

我们的RPC将像这样工作：

• 当客户端启动时，它创建一个匿名独占回调队列。
• 对于RPC请求，客户端发送一个具有两个属性的消息： replyTo，它被设置为回调队列和correlationId，它被设置为每个请求的唯一值。
• 请求被发送到rpc_queue队列。
• RPC worker（aka：server）正在等待队列上的请求。当请求出现时，它将执行该作业，并使用replyTo字段中的队列将结果发送回客户端。
• 客户端等待回调队列中的数据。当信息出现时，它检查correlationId属性。如果它与请求中的值相匹配，则返回对应用程序的响应。

完整示例

RPCServer.java

 1 package com.rabbitMQ;
 2 
 3 import java.io.IOException;
 4 
 5 import com.rabbitmq.client.AMQP;
 6 import com.rabbitmq.client.Channel;
 7 import com.rabbitmq.client.Connection;
 8 import com.rabbitmq.client.ConnectionFactory;
 9 import com.rabbitmq.client.Consumer;
10 import com.rabbitmq.client.DefaultConsumer;
11 import com.rabbitmq.client.Envelope;
12 
13 public class RPCServer {
14 
15     private static final String RPC_QUEUE_NAME = "rpc_queue";
16     
17     
18     private static int fib(int n) {
19         if (n == 0) return 0;
20         if (n == 1) return 1;
21         return fib(n-1) + fib(n-2);
22     }
23     
24 
25     public static void main(String[] argv) {
26         ConnectionFactory factory = new ConnectionFactory();
27         factory.setHost("localhost");
28 
29         Connection connection = null;
30         try {
31             connection      = factory.newConnection();
32             Channel channel = connection.createChannel();
33 
34             channel.queueDeclare(RPC_QUEUE_NAME, false, false, false, null);
35 
36             channel.basicQos(1);
37 
38             System.out.println(" [x] Awaiting RPC requests");
39 
40             Consumer consumer = new DefaultConsumer(channel) {
41                 @Override
42                 public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
43                     AMQP.BasicProperties replyProps = new AMQP.BasicProperties
44                             .Builder()
45                             .correlationId(properties.getCorrelationId())
46                             .build();
47 
48                     String response = "";
49 
50                     try {
51                         String message = new String(body,"UTF-8");
52                         int n = Integer.parseInt(message);
53 
54                         System.out.println(" [.] fib(" + message + ")");
55                         response += fib(n);
56                     }
57                     catch (RuntimeException e){
58                         System.out.println(" [.] " + e.toString());
59                     }
60                     finally {
61                         channel.basicPublish( "", properties.getReplyTo(), replyProps, response.getBytes("UTF-8"));
62 
63                         channel.basicAck(envelope.getDeliveryTag(), false);
64                     }
65                 }
66             };
67 
68             channel.basicConsume(RPC_QUEUE_NAME, false, consumer);
69 
70         
71         } catch(Exception e) {
72             e.printStackTrace();
73             
74         }
75     }
76     
77     
78 }

服务器代码相当简单：

• 像往常一样，我们开始建立连接，通道和声明队列。
• 我们可能想要运行多个服务器进程。为了在多个服务器上平均分配负载，我们需要在channel.basicQos中设置prefetchCount设置。
• 我们使用basicConsume访问请求队列，我们??以对象（DefaultConsumer）的形式提供一个回调，该对象将执行该操作并发回响应。

 

RPCClient.java

 1 package com.rabbitMQ;
 2 
 3 import com.rabbitmq.client.*;
 4 
 5 import java.io.IOException;
 6 import java.util.UUID;
 7 import java.util.concurrent.ArrayBlockingQueue;
 8 import java.util.concurrent.BlockingQueue;
 9 import java.util.concurrent.TimeoutException;
10 
11 public class RPCClient {
12 
13     private Connection connection;
14     private Channel channel;
15     private String requestQueueName = "rpc_queue";
16     private String replyQueueName;
17 
18     public RPCClient() throws IOException, TimeoutException {
19         ConnectionFactory factory = new ConnectionFactory();
20         factory.setHost("localhost");
21 
22         connection = factory.newConnection();
23         channel = connection.createChannel();
24 
25         replyQueueName = channel.queueDeclare().getQueue();
26     }
27 
28     public String call(String message) throws IOException, InterruptedException {
29         String corrId = UUID.randomUUID().toString();
30 
31         AMQP.BasicProperties props = new AMQP.BasicProperties
32                 .Builder()
33                 .correlationId(corrId)
34                 .replyTo(replyQueueName)
35                 .build();
36         //发布请求到replyQueueName
37         channel.basicPublish("", requestQueueName, props, message.getBytes("UTF-8"));
38 
39         final BlockingQueue<String> response = new ArrayBlockingQueue<String>(1);
40         //从replyQueueName获取响应
41         channel.basicConsume(replyQueueName, true, new DefaultConsumer(channel) {
42             @Override
43             public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
44                 if (properties.getCorrelationId().equals(corrId)) {
45                     response.offer(new String(body, "UTF-8"));
46                 }
47             }
48         });
49 
50         return response.take();
51     }
52 
53     public void close() throws IOException {
54         connection.close();
55     }
56 
57    public static void main(String[] args) throws Exception {
58        
59        RPCClient fibonacciRpc = new RPCClient();
60 
61        System.out.println("[x] Requesting fib(30)");
62        String response = fibonacciRpc.call("30");
63        System.out.println("[.] Got‘" + response + "‘");
64 
65        fibonacciRpc.close();
66        
67    }
68 }

 

客户端代码涉及的东西稍微多一点：

• 我们建立一个连接和通道，并声明一个独占的‘回拨‘队列作为回复。
• 我们订阅“回调”队列，以便我们可以接收RPC响应。
• 我们调用call方法发出RPC请求。
• 在这里，我们首先生成一个唯一的correlationId 数字并保存它 - 我们在DefaultConsumer 中实现handleDelivery将使用此值来捕获与correlationID匹配的响应。
• 接下来，我们发布请求消息，其中包含两个属性： replyTo和correlationId。
• 在这一点上，我们可以坐下来等待适当的响应到达。
• 由于我们的消费者处理发生在一个单独的线程中，我们将需要一些东西在响应到达之前暂停主线程。我们这里使用了BlockingQueue阻塞队列。这里我们创建了一个ArrayBlockingQueue阻塞队列，容量设置为1，因为我们只需要等待一个响应。
• 该handleDelivery方法是做一个很简单的工作，对每一位消费响应消息它会检查的correlationID 是否是我们要的响应。如果是，就把响应内容放到阻塞队列中。
• 同时主线程正在等待响应从BlockingQueue中取出。
• 最后，我们将响应返回给用户。

使客户端请求：

RPCClient fibonacciRpc = new RPCClient（）;

System.out.println（“[x] Requesting fib（30）”）;
String response = fibonacciRpc.call（“30”）;
System.out.println（“[.] Got‘” + response + “‘”）;

fibonacciRpc.close（）;