单线程的 Redis 如何做到每秒数万 QPS ？

r囧r小猫 2023-09-29 14:45 85阅读 0赞

### 导语 ###

服务器端只需要单线程可以达到非常高的处理能力，Redis 就是一个非常好的例子。仅仅靠单线程就可以支撑起每秒数万 QPS 的高处理能力。今天我们就来带大家看看 Redis 核心网络模块的内部实现，学习下 Redis 是如何做到如此的高性能的！

### 正文 ###

#### 一、理解多路复用原理 ####

在开始介绍 Redis 之前，我想有必要先来简单介绍下 epoll。

在传统的同步阻塞网络编程模型里（没有协程以前），性能上不来的根本原因在于进程线程都是笨重的家伙。让一个进(线)程只处理一个用户请求确确实实是有点浪费了。

![677e41a8c777149239a48bd6074f9f28.png][]

先抛开高内存开销不说，在海量的网络请求到来的时候，光是频繁的进程线程上下文就让 CPU 疲于奔命了。

![6be58bcab74a8645e72e512c7e944b6b.png][]

如果把进程比作牧羊人，一个进(线)程同时只能处理一个用户请求，相当于一个人只能看一只羊，放完这一只才能放下一只。如果同时来了 1000 只羊，那就得 1000 个人去放，这人力成本是非常高的。

![14c62f1be5c72cd2244b73b5953fb68b.png][]

性能提升思路很简单，就是让很多的用户连接来复用同一个进(线)程，这就是多路复用。多路指的是许许多多个用户的网络连接。复用指的是对进(线)程的复用。换到牧羊人的例子里，就是一群羊只要一个牧羊人来处理就行了。

不过复用实现起来是需要特殊的 socket 事件管理机制的，最典型和高效的方案就是 epoll。放到牧羊人的例子来，epoll 就相当于一只牧羊犬。

在 epoll 的系列函数里， epoll\_create 用于创建一个 epoll 对象，epoll\_ctl 用来给 epoll 对象添加或者删除一个 socket。epoll\_wait 就是查看它当前管理的这些 socket 上有没有可读可写事件发生。

![36a60e364bff16454b5a16a90a9a3ec4.png][]

当网卡上收到数据包后，Linux 内核进行一系列的处理后把数据放到 socket 的接收队列。然后会检查是否有 epoll 在管理它，如果是则在 epoll 的就绪队列中插入一个元素。epoll\_wait 的操作就非常的简单了，就是到 epoll 的就绪队列上来查询有没有事件发生就行了。关于 epoll 这只“牧羊犬”的工作原理参见深入揭秘 epoll 是如何实现 IO 多路复用的 (Javaer 习惯把基于 epoll 的网络开发模型叫做 NIO)

在基于 epoll 的编程中，和传统的函数调用思路不同的是，我们并不能主动调用某个 API 来处理。因为无法知道我们想要处理的事件啥时候发生。所以只好提前把想要处理的事件的处理函数注册到一个事件分发器上去。当事件发生的时候，由这个事件分发器调用回调函数进行处理。这类基于实现注册事件分发器的开发模式也叫 Reactor 模型。

####    二、Redis 服务启动初始化 ####

理解了 epoll 原理后，我们再来实际看 Redis 具体是如何使用 epoll 的。直接在 Github 上就可以非常方便地获取 Redis 的源码。我们切到 5.0.0 版本来看单线程版本的实现（多线程我们改天再讲）。

# git clone https://github.com/redis/redis
    # cd redis
    # git checkout -b 5.0.0 5.0.0

其中整个 Redis 服务的代码总入口在 src/server.c 文件中，我把入口函数的核心部分摘了出来，如下。

//file: src/server.c
    int main(int argc, char **argv) {
        ......
        // 启动初始化
        initServer();
        // 运行事件处理循环，一直到服务器关闭为止
        aeMain(server.el);
    }

其实整个 Redis 的工作过程，就只需要理解清楚 main 函数中调用的 initServer 和 aeMain 这两个函数就足够了。  
本节中我们重点介绍 initServer，在下一节介绍事件处理循环 aeMain。在 initServer 这个函数内，Redis 做了这么三件重要的事情。

![08cfcddaf7b494f30e39ebdf3446be62.png][]

*  创建一个 epoll 对象
 *  对配置的监听端口进行 listen
 *  把 listen socket 让 epoll 给管理起来

//file: src/server.c
    void initServer() {
        // 2.1.1 创建 epoll
        server.el = aeCreateEventLoop(server.maxclients+CONFIG_FDSET_INCR);
    
        // 2.1.2 绑定监听服务端口
        listenToPort(server.port,server.ipfd,&server.ipfd_count);
    
        // 2.1.3 注册 accept 事件处理器
        for (j = 0; j < server.ipfd_count; j++) {
            aeCreateFileEvent(server.el, server.ipfd[j], AE_READABLE,
                acceptTcpHandler,NULL);
        }
        ...
    }

接下来我们分别来看。

**2.1 创建 epoll 对象**

本小节的逻辑看起来貌似不短，但其实只是创建了一个 epoll 对象出来而已。  
创建 epoll 对象的逻辑在 aeCreateEventLoop 中，在创建完后，Redis 将其保存在 redisServer 的 aeEventLoop 成员中，以备后续使用。

struct redisServer {
        ...
        aeEventLoop *el;
    }

我们来看 aeCreateEventLoop 详细逻辑。Redis 在操作系统提供的 epoll 对象基础上又封装了一个 eventLoop 出来，所以创建的时候是先申请和创建 eventLoop。

//file:src/ae.c
    aeEventLoop *aeCreateEventLoop(int setsize) {
        aeEventLoop *eventLoop;
        eventLoop = zmalloc(sizeof(*eventLoop);
    
        //将来的各种回调事件就都会存在这里
        eventLoop->events = zmalloc(sizeof(aeFileEvent)*setsize);
        ......
    
        aeApiCreate(eventLoop);
        return eventLoop;
    }

在 eventLoop 里，我们稍微注意一下 eventLoop->events，将来在各种事件注册的时候都会保存到这个数组里。

//file:src/ae.h
    typedef struct aeEventLoop {
        ......
        aeFileEvent *events; /* Registered events */
    }

具体创建 epoll 的过程在 ae\_epoll.c 文件下的 aeApiCreate 中。在这里，真正调用了 epoll\_create

[677e41a8c777149239a48bd6074f9f28.png]: https://img-blog.csdnimg.cn/img_convert/677e41a8c777149239a48bd6074f9f28.png
[6be58bcab74a8645e72e512c7e944b6b.png]: https://img-blog.csdnimg.cn/img_convert/6be58bcab74a8645e72e512c7e944b6b.png
[14c62f1be5c72cd2244b73b5953fb68b.png]: https://img-blog.csdnimg.cn/img_convert/14c62f1be5c72cd2244b73b5953fb68b.png
[36a60e364bff16454b5a16a90a9a3ec4.png]: https://img-blog.csdnimg.cn/img_convert/36a60e364bff16454b5a16a90a9a3ec4.png
[08cfcddaf7b494f30e39ebdf3446be62.png]: https://img-blog.csdnimg.cn/img_convert/08cfcddaf7b494f30e39ebdf3446be62.png