IO 多路复用 select / epoll 的原理

清疚 2023-10-02 15:45 25阅读 0赞

#### 文章目录 ####

*  重要概念
 *   *   *  1. 工作队列
         *  2. 中断程序
         *  3. Socket 的等待队列
 *  1. BIO 的基本流程
 *  2. select 的原理
 *  3. epoll 的实现

## 重要概念 ##

#### 1. 工作队列 ####

操作系统为了支持多任务，会把进程分为`运行`和`等待`等几种状态，以便实现进程调度的功能。处于`运行状态`的进程将被添加到工作队列，操作系统会分片调度 CPU 资源，让工作队列中的各个进程获得一定时间内的 CPU 使用权，以便执行进程任务

> 进程执行除了需要计算机 CPU 以外还需要其他资源，比如内存和数据。当进程执行由于某个条件不满足而进入`阻塞状态`时，操作系统就会将其从工作队列移除，直到进程执行所需条件满足才重新将其添加到工作队列，再次参与 CPU 资源的分配竞争。这个过程中有一点很关键，那就是操作系统需要有一种机制知道某个进程继续执行的条件已经满足了，这种机制就是`中断`

#### 2. 中断程序 ####

`中断`由特定信号触发，当 CPU 捕获信号后必须中断掉正在执行的程序，优先执行信号对应的程序进行响应，这种程序就是`中断程序`。因此当某个阻塞进程继续执行所需的资源满足时，可以借助特定信号触发中断程序将其重新添加到工作队列，实现进程的唤醒

#### 3. Socket 的等待队列 ####

Socket 对象包含了`发送缓冲区`、`接收缓冲区`与`等待列表`等内部属性，其中`等待列表`是个很是重要的结构，因为它指向需要等待该 Socket 事件的全部进程

## 1. BIO 的基本流程 ##

一个进程进行阻塞 IO 的运行示意如下图所示，比较重要的步骤如下：

> 1.  CPU 执行工作队列中的进程，进程A 获得 CPU 使用权，程序执行
> 2.  进程A 内部绑定了监听端口，接受远端连接
> 3.  当远端连接过来时，建立代表连接的对象 socketA，并将其添加到进程文件列表中进行管理
> 4.  进程A 尝试从 socketA 中读取数据，但未读取到任何数据。进程A 继续执行的条件不满足，则进程A 被移除出工作队列，并被添加到 socketA 的等待列表
> 5.  当计算机接收到外部的网络数据时，首先会经由网卡将其写入内核缓冲区，完成后网卡发出中断信号通知 CPU 有数据到达
> 6.  CPU 收到中断信号，执行对应的中断程序
> 7.  中断程序将内核缓冲数据拷贝到 Socket 接收缓冲区。由于一个 Socket 对应一个端口号，而网络数据包中包含了 IP 和端口信息，所以能够经过端口号找到对应的 Socket
> 8.  socketA 接收数据完毕，中断程序将进程A从其等待列表中移除，并将进程A 重新添加到工作队列
> 9.  进程A 再次获得 CPU 使用权后从阻塞重新执行，此时 socketA 中可以读取到数据，进程A 可以继续往下执行

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6LCI6LCIMTk3NA_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center]

## 2. select 的原理 ##

在上一节 `BIO 的基本流程` 中笔者介绍了服务端进程处理单个 Socket 的流程，然而一个服务端进程绑定监听端口后，通常会有许多客户端连接过来，也就是说服务端进程需要处理多个 Socket 的数据，`select` 就是监听处理多个 Socket 的一种方案：

> 1.  CPU 执行工作队列中的进程，进程A 获得 CPU 使用权，程序执行
> 2.  进程A 内部绑定了监听端口，接受远端连接，每当远端连接过来时，就建立一个代表连接的 Socket 对象
> 3.  将新建的 Socket 对象添加到进程A 维护的 Socket 列表中，调用 select 时将 Socket 列表传入，由内核负责遍历 Socket 列表中的每一个 Socket，检查其是否可以操作。需注意，每次调用 select 都需要将 Socket 列表由用户进程拷贝到内核，当 Socket 列表比较大时，拷贝操作是一个不可忽视的开销，因此 Select 会限制监听 Socket 的最大数量
> 4.  内核轮询 Socket 列表，如果没有任何 Socket 就绪，进程A 就需要在 select 调用处阻塞，也就是被从工作队列中移除。需要注意，进程A 还需要被添加到它所监听的每一个 Socket 的等待列表中，也就是说这里存在遍历 Socket 列表并操作 Socket 的开销
> 5.  当计算机接收到外部的网络数据时，首先会经由网卡将其写入内核缓冲区，完成后网卡发出中断信号通知 CPU 有数据到达
> 6.  CPU 收到中断信号，执行对应的中断程序
> 7.  中断程序将内核缓冲数据拷贝到对应的 socketA 的接收缓冲区
> 8.  socketA 接收数据完毕，中断程序将进程A 重新添加到工作队列，并将进程A 从它所监听的每一个 Socket 的等待列表中移除，此处依然存在遍历 Socket 列表并操作 Socket 的开销
> 9.  进程A 再次获得 CPU 使用权后从 select 阻塞处重新执行，此时进程A 知道它所监听的 Socket 列表中存在可以读写操作的 Socket，但是并不知道到底是哪一个 Socket，此处仍然需要遍历列表才能进行下一步操作

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6LCI6LCIMTk3NA_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 1]

## 3. epoll 的实现 ##

针对上一节 `select 的原理` 中提到的问题，epoll 做出了很大的改进，其实现的重要步骤总结如下：

> 1.  CPU 执行工作队列中的进程，进程A 获得 CPU 使用权，程序执行
> 2.  进程A 内部绑定了监听端口，接受远端连接，每当远端连接过来时，就建立一个代表连接的 Socket 对象
> 3.  将新建的 Socket 对象添加到进程A 创建的 epoll 对象内部的`rbr红黑树`结构中，也就是说`进程A 监听的 Socket 集合交由内核维护`。这样每次只需要将新的 Socket 对象单独拷贝到内核，开销很小，另外这个过程中也会设置回调函数到 Socket 的等待列表中
> 4.  epoll\_wait 调用检查其内部`rdlist就绪列表`，如果没有任何 Socket 就绪，进程A 就需要在此处阻塞，也就是被从工作队列中移除。需要注意，进程A 此时只要被添加到 epoll 的`wq等待列表`中即可，不需要被添加到每一个 Socket 的等待列表
> 5.  当计算机接收到外部的网络数据时，首先会经由网卡将其写入内核缓冲区，完成后网卡发出中断信号通知 CPU 有数据到达
> 6.  CPU 收到中断信号，执行对应的中断程序
> 7.  中断程序将内核缓冲数据拷贝到对应的 socketA 的接收缓冲区
> 8.  socketA 接收数据完毕，中断程序将其添加到 epoll 的`rdlist就绪列表`
> 9.  socketA 数据就绪，触发`步骤3`设置的回调函数，唤醒进程A，将其从 epoll 的等待列表中移除。因为进程A 未被直接添加到所有 Socket 的等待列表，所以此处也就不需要将其从每个 Socket 的等待列表移除
> 10. 进程A 回到工作队列，再次获得 CPU 使用权后从 epoll\_wait 阻塞处重新执行，此时进程A 只需要读取 epoll 的`rdlist就绪列表`就能知道哪些 Socket 读写就绪，直接操作就绪列表中 Socket 的即可，不需要再遍历查找

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6LCI6LCIMTk3NA_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 2]

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6LCI6LCIMTk3NA_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center]: https://img-blog.csdnimg.cn/1dba653b8d774be5936d5a69f6b1fc1e.jpg?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA6LCI6LCIMTk3NA==,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6LCI6LCIMTk3NA_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 1]: https://img-blog.csdnimg.cn/ce7c3e62b9b441479d90cf94cd40afaf.jpg?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA6LCI6LCIMTk3NA==,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6LCI6LCIMTk3NA_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 2]: https://img-blog.csdnimg.cn/f99a40cd1f2b43d3bf90f232e21c9d49.jpg?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA6LCI6LCIMTk3NA==,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center