Redis技术探索「底层架构原理」探索分析服务系统的网络架构和线程模型

Posted 2022-12-16 洛神灬殇

Redis网络基础架构

网络编程离不开Socket，网络I/O模型最常用的无非是同步阻塞、同步非阻塞、异步阻塞、异步非阻塞，高性能网络服务器最常见的线程模型也就是基于EventLoop模式的单线程模型。

Redis基础组建结构

Redis网络层基础组件主要包括四个部分：

EventLoop事件轮训器，这部分实现在AE里面。

• 提供Socket句柄事件的多路复用器，这部分分别对于不同平台提供了不同的实现，比如epoll和select可以用于linux平台、kqueue可以用于苹果平台、evpoll可以用于Solaris平台，这里并没有看到iocp，也就是Redis对于Windows支持并不是很好。

• 包括网络事件处理器实现的networking，这部分主要包括两个重要的今天要讲的事件处理器：acceptTcpHandler和acceptCommonHandler。

• 处理网络比较底层的部分，比如网络句柄创建、网络的读写等。

Redis单线程模型

要理解Redis的单线程模型，有多个客户端同时去跟Redis Server建立连接，之后又同时对某个key进行操作。

网络初始化

• 初始化Redis Server参数，这部分代码通过nitServerConfig实现。
• 初始化Redis Server，这部分代码在initServer里面。
• 启动事件轮训器。

Redis的启动部分简化为三步，跟网络操作有关的主要在第二步和第三步里面，来看看initServer里面发生了什么

initServer流程

1. initServer里面首先创建了一个EventLoop，
2. 然后监听Server的IP对应的端口号，假设我们监听的是127.0.0.1:3333这个IP:端口对，我们得到的一个Server Socket句柄，
3. 最后通过createFileEvent将我们得到的Server Socket句柄和我们关心的网络事件mask注册到EventLoop上面。

EventLoop是什么呢，我们看看它的定义：

typedef struct aeEventLoop 
    int maxfd;   /* highest file descriptor currently registered */
    int setsize; /* max number of file descriptors tracked */
    long long timeEventNextId;
    time_t lastTime;     /* Used to detect system clock skew */
    aeFileEvent *events; /* Registered events */
    aeFiredEvent *fired; /* Fired events */
    aeTimeEvent *timeEventHead;
    int stop;
    void *apidata; /* This is used for polling API specific data */
    aeBeforeSleepProc *beforesleep;
 aeEventLoop;

上面我们关注的主要是两个东西：events和fired。他们分别是两个数组：

• events：用于存放被注册的事件以及相应的句柄；

• fired：用于存放当EventLoop线程从多路复用器轮训到有事件的句柄的时候，EventLoop线程会把它放入fired数组里面，然后处理。

事件注册示意图

• 1.上面的示意图描述createFileEvent做的事情，就是将Server Socket句柄和关心的事件mask以及当事件产生的时候的事件处理器acceptHandler生成一个aeFileEvent注册到EventLoop的events的数组里面，当然在这之前会首先将事件注册到多路复用器上，也就是epoll、kqueue等这些组件上。
• 2.事件注册完之后需要对多路复用器进行轮训
• 3.来分离我们关心切发生的事件，那就是最后一步，启动事件轮询器。

接收网络连接

完成了服务端的网络初始化，而且事件轮询器已经开始工作了，事件轮询器做什么事情呢，就是不断轮训多路复用器，看看之前注册的事件有没有发生，如果有发生，则将会将事件分离出来，放入EventLoop的fired数组中，然后处理这些事件。

• 1. 注册的事件是客户端建立连接这个事件，因此当有两个客户端同时连接Redis服务器的时候，事件轮询器会从多路复用器上面分离出这个事件，同时调用acceptHandler来处理。
• 2. acceptHandler做的事情主要是accept客户端的连接，创建socket句柄，然后将socket句柄和读事件注册到EventLoop的events数组里面，不一样的是对于客户端的事件处理器是readQueryClient。

accept客户端连接以及注册客户端连接句柄示意图

上面示意图表示了acceptHandler处理客户端连接，得到句柄之后再将这个句柄注册到多路复用器以及EventLoop上的示意图。之后再同样再处理下一个客户端的连接，这些都是串行的。

事件轮训

上面接收客户端这部分其实都发生在事件轮训的主循环里面：

void aeMain(aeEventLoop *eventLoop) 
    eventLoop->stop = 0;
    while (!eventLoop->stop) 
        if (eventLoop->beforesleep != NULL)
            eventLoop->beforesleep(eventLoop);
        aeProcessEvents(eventLoop, AE_ALL_EVENTS);
    

Redis会不断的轮训多路复用器，将网络事件分离出来，如果是accept事件，则新接收客户端连接并将其注册到多路复用器以及EventLoop中，如果是查询事件，则通过读取客户端的命令进行相应的处理，这一切都是单线程，顺序的执行的，因此不会发生并发问题。

应用分析

Redis官网对Redis的读写性能测试结果达到10左右，这是非常吸引人的。
Redis的单线程的行为主要是对内存的读写，这些操作其实用不了多少时间，因此瓶颈在网络I/O上面，一般提供较好的网络环境就可以提升Redis的吞吐量，比如提高网络带宽，除此之外还可以通过合并命令提交批处理请求来代替单条命令一次次请求从而减少网络开销，提高吞吐量。