python通过protobuf实现rpc

Posted 2020-06-18 在于思考

由于项目组现在用的rpc是基于google protobuf rpc协议实现的，所以花了点时间了解下protobuf rpc。rpc对于做分布式系统的人来说肯定不陌生，对于rpc不了解的童鞋可以自行google，这里只是做个简单的介绍。rpc的主要功能是让分布式系统的实现更为简单，为提供强大的远程调用而不损失本地调用语义的简洁性。为了实现这个目标，rpc框架需要提供一种透明调用机制让使用者不必显示区分本地调用还是远程调用。rpc架构涉及的组件如下：

客户方像调用本地方法一样去调用远程接口方法，RPC 框架提供接口的代理实现，实际的调用将委托给代理RpcProxy 。代理封装调用信息并将调用转交给RpcInvoker 去实际执行。在客户端的RpcInvoker 通过连接器RpcConnector 去维持与服务端的通道RpcChannel，并使用RpcProtocol 执行协议编码（encode）并将编码后的请求消息通过通道发送给服务方。RPC 服务端接收器 RpcAcceptor 接收客户端的调用请求，同样使用RpcProtocol 执行协议解码（decode）。解码后的调用信息传递给RpcProcessor 去控制处理调用过程，最后再委托调用给RpcInvoker 去实际执行并返回调用结果。

protobuf rpc在上面组件中主要扮演RpcProtocol的角色，使得我们省去了协议的设计，并且protobuf协议在编码和空间效率都是上非常高效的，这也是很多公司采用protobuf作为数据序列化和通信协议的原因。同时protobuf rpc定义了一个抽象的rpc框架，如下图所示：

RpcServiceStub和RpcService类是protobuf编译器根据proto定义生成的类，RpcService定义了服务端暴露给客户端的函数接口，具体实现需要用户自己继承这个类来实现。RpcServiceStub定义了服务端暴露函数的描述，并将客户端对RpcServiceStub中函数的调用统一转换到调用RpcChannel中的CallMethod方法，CallMethod通过RpcServiceStub传过来的函数描述符和函数参数对该次rpc调用进行encode，最终通过RpcConnecor发送给服务方。对方以客户端相反的过程最终调用RpcSerivice中定义的函数。事实上，protobuf rpc的框架只是RpcChannel中定义了空的CallMethod，所以具体怎样进行encode和调用RpcConnector都要自己实现。RpcConnector在protobuf中没有定义，所以这个完成由用户自己实现，它的作用就是收发rpc消息包。在服务端，RpcChannel通过调用RpcService中的CallMethod来具体调用RpcService中暴露给客户端的函数。

介绍了这么多，对于怎么样用protobuf rpc来实现一个rpc肯定还是一头雾水吧，下面就用protobuf rpc来实现一个简单的python版rpc demo吧。

下面直接给出demo描述PRC的proto文件，至于proto文件的编写规则可以参考protobuf官网。

common.proto文件：

 1 package game;
 2 
 3 message RequestMessage
 4 {
 5     required string message = 1;
 6 }
 7 
 8 message ResponseMessage
 9 {
10     required string message = 1;
11 }

game_service.proto文件：

1 package game;
2 
3 import "common.proto";
4 option py_generic_services  = true;
5 
6 service GameService
7 {
8     rpc connect_server(RequestMessage) returns(RequestMessage);
9 }

common.proto文件描述了RPC中收发的消息；game_service.proto描述了服务器导出的connect_server函数，该函数接受RequestMessage对象作为参数，并返回RequestMessage对象。在使用PRC协议时，必须加上option py_generic_services  = true;可选项，要不然编译器不会生成包含connect_server函数的GameService描述。

使用编译器protoc编译proto文件，具体命令为：

protoc.exe --python_out=. game_service.proto

编译后生成的文件为game_service_pb2.py，该文件主要是实现了GameService和GameService_Stub类。GameService_Stub类用于客户端调用者来调用GameService的服务。

前面已经说了，在客户端，RpcChannel只实现了一个空的CallMethod，所以需要继承RpcChannel重新这个函数来encode消息和发送消息。在服务端RpcChannel需要调用CallMethod来调用Service中的函数。具体实现如下：

 1 class MyRpcChannel(service.RpcChannel):
 2     def __init__(self, rpc_service, conn):
 3         super(MyRpcChannel, self).__init__()
 4         self.logger = LogManager.get_logger("MyRpcChannel")
 5 
 6     def CallMethod(self, method_descriptor, rpc_controller, request, response_class, done):
 7         """"protol buffer rpc 需要的函数，用来发送rpc调用"""
 8         self.logger.info(‘CallMethod‘)
 9         cmd_index = method_descriptor.index
10         assert(cmd_index < 65535)
11         data = request.SerializeToString()
12         total_len = len(data) + 2
13         self.conn.send_data(‘‘.join([pack(‘<I‘, total_len), pack(‘<H‘, cmd_index), data]))
14 
15     def from_request(self):
16         """"从网络解析出一个完整的请求之后调的函数"""
17         index_data = self.rpc_request.data[0:2]        
18         cmd_index = unpack(‘<H‘, index_data)[0]    
19         rpc_service = self.rpc_service
20         s_descriptor = rpc_service.GetDescriptor()
21         method = s_descriptor.methods[cmd_index]    
22         try:
23             request = rpc_service.GetRequestClass(method)()
24             serialized = self.rpc_request.data[2:]        
25             request.ParseFromString(serialized)    
26             rpc_service.CallMethod(method, self.controller, request, None)
27         except:
28             self.logger.error("Call rpc method failed!")
29             self.logger.log_last_except()
30         return True

最后就是继承GameService，并实现connect_server函数了。

1 class GameService(game_service_pb2.GameService):
2     def __init__(self):
3         self.logger = LogManager.get_logger("GameService")
4 
5     def connect_server(self, rpc_controller, request, callback):
6         self.logger.info(‘%s‘, request.message)

 至于用于网络收发消息的RpcConnector，可以使用python的asyncore库实现，具体实现在这就不讨论了。

从上面的实现来看，protobuf rpc的实现主要包括编写proto文件并编译生成对应的service_pb2文件，继承RpcChannel并实现CallMethod和调用Service的CallMethod，继承Service来实现暴露给客户端的函数。