基于nginx实现protobuf RPC

Posted 2020-06-13

老婆一起来上海工作，每个月消费立马上来了，做了一个android记账应用，把每笔帐都实时记录进去。开始是单机版的，只能两个人分别记，月底再merge一下。刚好有一台阿里云的ECS，于是准备升级为带服务端版的，通信协议可以直接用android的http库，但考虑到越来越多的app应用都开始走私有协议（比如原来运维的手机淘宝），定制一套个性化的协议本身就比较麻烦，扩展性也不好，于是想到了protobuf-rpc。但还需要一个成熟的network frame（手写的话不知道要搞到什么时候），于是想到了nginx。

github地址：https://github.com/zmkeil/nrpc

 

为什么选nginx

Nginx是一款高性能的web服务器，清晰的代码结构及优良的模块化，非常易于扩展为各种各样的网络服务器。其构建的基础组件如内存池，链表等及event，network接口全部包含在core/event目录中，而且性能非常高，直接面向互联网服务，网络IO方面没有任何问题。

 

怎么使用nginx

为了保证对nginx的修改最少，我将RPC框架当成nginx的一个模块，启动时将它动态加入到nginx的模块列表（ngx_modules[]）中去。

另外提供非常简易的编程接口（和大部分RPC实现类似），监听端口、protobuf service等信息都可以在应用程序初始化阶段通过编程接口来设置，所有初始化完成之后，应用程序可以直接调用server.start()来启动服务，这个方法实际上是调用nginx的main函数（改名为ngx_start)，然后就进入了nginx的正常流程，初始化所有模块（包括我们的NRPC模块），然后打开所有监听端口，并启动work进程，开始接受request。主进程自动进入deamon模式，并且设置相应的信号处理程序。所以应用程序在调用完server.start()后，就可以直接return了（实际上是不会执行到的）。

此外，nginx的core、event模块的配置，可以直接用nginx.conf文件来配置，就像原汁原味的nginx一样。

启动过程如下图所示：

 

右侧是简易的应用程序流程：

1、首先创建一个server，包括一些初始化工作

2、然后通过server.push_service_set()接口，为该server添加一个service_set，并配置其监听地址，一般为“0.0.0.0:port”。同时，会将该service_set信息添加到全局变量nrpc_listens[]中去。

3、然后向该service_set中添加service。这里对service使用了两层逻辑的管理：一个监听端口对应一个service_set，一个service_set可以包含多个service。因为主要是考虑面向公网应用，服务器资源宝贵，可以同时提供多种服务。

4、最后通过server.start()启动服务，如前所述，这回调用nginx的启动流程，打开所有监听端口。这里设置了nrpc的ls->handler = ngx_nrpc_init_connection，后续所有nrpc的请求入口就从这里开始。

 

特性

该模块实现了RPC的基本功能，比如端口配置，service添加/删除，超时设置，local_session_context等。另外还有一些常用的功能。

服务端：

1.继承了nginx的core、event模块的所有特性

2.连接保持及复用

3.QPS并发限流

服务端流程如下图：

 

大致流程如上图：

1、第一行3个函数和第三行1个函数，都是通过nginx的event、network接口接收/发送请求，nginx是完全非阻塞的事件模型，写起来和一般的同步写法有些区别

2、中间一行的函数则是实现了protobuf的框架接口。这里提供的多种protocol，主要是针对输入的，目前实现的只接受protobuf格式的请求，考虑到http的通用性，以后会实现接口http格式的请求，内部转化成protobuf格式，返回response时再转化成http格式。

客户端：

利用pthread实现，和服务端是隔离的，代码单独组织在channel.cpp、connection_pool.cpp和controller.cpp（和服务端共用的）中，一些特性如下：

1.提供同步、异步两种模式，用户可以串行发请求，并同步处理返回结果；也可以并发发请求，异步处理结果，并提供join功能

2.自动重试机制，但RPC失败时，客户端会自动重试多次（可配置），不需要用户代码做任何处理

3.实现一个简单的连接池，可以复用连接

客户端流程如下图：

 

 

结束语

github中的sample有示例代码，详细的使用方法README中有介绍，https://github.com/zmkeil/nrpc。

这算是我的第一个开源项目，代码有很多不严谨的地方，欢迎指正，欢迎使用。

另外特别以此纪念爷爷，爷爷去世有两周了，在这个临近新春的寒冷的四九天里，是遗憾吧，或是解脱吧。爷爷生于旧社会，经历过军阀、日本侵华、文革，一生勤勤恳恳，和气待人，村里造桥铺路，春耕秋收，都事事为先，受人尊敬。记得初中时，我有一次作文比赛得到一等奖，题目是第一次XX，我写的是第一次写毛笔字，爷爷为我调墨铺纸。