解决高并发的核心——LinuxIO模型

淩亂°似流年 2023-01-18 12:23 257阅读 0赞

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjM0ODQ2_size_16_color_FFFFFF_t_70_pic_center]

### 文章目录 ###

*  1 问题背景
 *  2 基础概念
 *   *  2.1 Linux的组成
     *  2.2 用户空间与内核空间
     *  2.3 进程切换
     *  2.4 进程的阻塞
     *  2.5 文件
     *  2.6 文件描述符
     *  2.7 什么是IO
     *  2.8 网络IO
     *  2.9 缓存IO
     *  2.10 网络IO过程总结
 *  3 Linux IO模型
 *   *  3.1 同步阻塞IO（Blocking IO）
     *   *  3.1.1 网络模型
         *  3.1.2 流程描述
         *  3.1.3 特点
         *  3.1.4 优缺点
     *  3.2 同步非阻塞IO（nonblocking IO）
     *   *  3.2.1 网络模型
         *  3.2.2 流程描述
         *  3.2.3 特点
         *  3.2.4 优缺点
     *  3.3 IO多路复用（IO multiplexing）
     *   *  3.3.1 网络模型
         *  3.3.2 流程描述
         *  3.3.3 特点
         *  3.3.4 优缺点
         *  3.3.5 场景
         *  3.3.6 小总结
     *  3.4 信号驱动式IO（signal-driven IO）
     *  3.5 异步IO
     *   *  3.5.1 网络模型
         *  3.5.2 流程描述
     *  3.6 总结

# 1 问题背景 #

--------------------

> 做毕设时涉及到并发的东西。JMeter发出的并发数达到1000左右，Redis会报连接过多或长时间没有收到数据报文的报错。偶然了解到并发性能与Linux的IO模型有关。今天了解一下Linux中的IO模型。

> 某些概念性的东西了解即可，反复阅读研究核心的原理就会了解概念性的东西。

> 参考自： [聊聊Linux 五种IO模型][Linux _IO]

# 2 基础概念 #

--------------------

## 2.1 Linux的组成 ##

> Linux的组成如下图所示：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjM0ODQ2_size_16_color_FFFFFF_t_70_pic_center 1]  
如上图所示，Linux系统包含了内核、Shell、文件系统、应用程序。

> Linux内核由以下几部分组成：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjM0ODQ2_size_16_color_FFFFFF_t_70_pic_center 2]

## 2.2 用户空间与内核空间 ##

对于Linux操作系统而言，其核心是内核，内核独立于普通的应用程序。操作系统为了支持多个应用同时进行，需保证不同进程之间的相对独立（一个进程崩溃不会影响其他进程，恶意进程不能直接读取或修改其他进程运行时的代码或数据）。因此操作系统内核需要用有比普通进程更高的权限，以此来调度和管理用户的应用程序，同时也可以保证内核的安全。

因此内存空间被划分为内核空间、用户空间。内核可以访问受保护的内核空间，也有访问底层硬件设备的所有权限。

现在操作系统都是采用虚拟存储器，那么对32位操作系统而言，它的寻址空间（虚拟存储空间）为4G（2的32次方）。针对linux操作系统而言，将最高的1G字节（从虚拟地址0xC0000000到0xFFFFFFFF），供内核使用，称为内核空间，而将较低的3G字节（从虚拟地址0x00000000到0xBFFFFFFF），供各个进程使用，称为用户空间。

## 2.3 进程切换 ##

为了管理进程，内核必须有挂起、恢复某个进程的能力。此种行为称为上下文切换。

从一个进程的运行转到另一个进程上运行，这个过程中经过下面这些变化：

1.  保存CPU上下文信息，包括程序计数器、其他寄存器
2.  更新PCB信息
3.  把进程的PCB移入相应的队列，如就绪、在某事件阻塞等队列
4.  选择另一个进程执行，并更新其PCB
5.  更新内存管理的数据结构

总结：上下文切换需要进行一系列复杂的操作，很消耗资源

## 2.4 进程的阻塞 ##

**正在执行的进程，当它无法获取到所需的资源（比如请求系统资源失败、等待某种操作完成、新数据尚未到达或无新的工作任务），则由系统执行阻塞原语（Block），使自己由运行状态变为阻塞状态。** 只有处于运行态的进程才可能将其转为阻塞状态。阻塞态的进程不占用CPU资源。

## 2.5 文件 ##

Linux中一切皆文件，包括普通文件、套接字、字符设备文件（键盘、鼠标等等）、块设备文件（光驱、硬盘），这些都抽象成文件

## 2.6 文件描述符 ##

> 详情查看[彻底搞懂文件描述符fd][fd]

文件描述符，File Descriptor，简称fd。其本质是一个非负整数。当程序打开或创建一个文件，内核都会返回一个非负整数，即文件描述符。此非负整数对应内核为每个进程所维护的该进程打开文件的记录表中的一条记录，即非负整数对应一个表上的一条记录。如下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjM0ODQ2_size_16_color_FFFFFF_t_70_pic_center 3]

如上图所示，进程A中文件描述符1和3都指向同一个句柄13，这可能是该进程A多次执行打开同一个文件操作。

总结：进程拿到文件描述符，去进程对应的文件描述符表查询到文件指针，文件指针指向系统级别的打开文件表的文件偏移量，通过文件偏移量拿到i-node指针，最终找到真实的文件。

## 2.7 什么是IO ##

> 此处的IO概念阐述需要反复琢磨思考，方便从全局整体上认知IO到底是什么、网络IO又是什么

> IO说白了就是输入输出，**宏观角度**讲可以分为**IO设备**和**IO接口**两个部分，IO设备就是输入输出设备，IO设备的工作方式可以由程序进行控制的。IO接口可以理解为 “计算机和其他计算机”，或者 ，“程序与计算机的IO设备”之间的传输接口。——摘自[CSDN博客：网络通信和IO][CSDN_IO]

Input、Output，简称IO。很常见的一个例子：用户打字，通过键盘将文字输入到带脑，Word文档通过计算机屏幕将输入的文字显示出来。其中文字就是数据，数据的流入流出就是一个IO的过程。**IO本质上是人与计算机、计算机与计算机、其他设备与计算机之间的通信**。再抽象一点概括，**IO是数据从一个地方到另一个地方**。以前面打字为例子，文字作为数据存储在人的大脑中，通过键盘输入到计算机，此过程数据从人脑中被传输存储到计算机的存储介质中。计算机又将数据传输给Word文档，让Word应用软件将文字通过显示器显示出来，此过程从数据从计算机存储介质中被传输到Word应用程序拥有的内存空间中。

## 2.8 网络IO ##

> 此处的IO概念阐述需要反复琢磨思考，方便从全局整体上认知IO到底是什么、网络IO又是什么

网络IO本质上也是IO中的一种。网络IO其实是网络通信。网络中2台计算机互相通信，此过程叫做网络IO，**宏观上是一台计算机调用IO接口输入输出到另外一台计算机**。抽象概括起来，网络IO也是数据从一个地方到达另一个地方。

网络中的数据是以二进制形式传输的，存储数据的结构无非就是数组、链表、树、堆、栈等，此处简单地认为用数组存储数据。那么 **微观上网络IO其实就是从一个数组到另一个数组的过程**

网络IO的硬件基础是网卡，网卡接收从网络中传来的数据，放在网卡专属的内存空间中，数据的终点站是应用程序的内存，涉及硬件的内存空间只有内核才有权限读写，因此应用程序是无法直接读取网卡内存中的数据，因此需要操作系统这个中间人做处理。上面提到的2个数组，就是**操作系统的IO数组**和**应用程序内存中的数组**，操作系统的IO数组就是**IO Buffer**，程序的数组就是我们熟悉的**字节数组**

## 2.9 缓存IO ##

缓存IO又被称作标准IO，在Linux的缓存IO机制中，操作系统会将IO的数据缓存在文件系统的页缓存中（page cache）。即**数据先被拷贝到内核的缓冲区中，随后才会被拷贝到应用程序的地址空间**。

缺点：数据传输过程中，数据在进程的地址空间与内核空间进行多次数据拷贝操作，CPU以及内存开销都很大。

总结：网络IO就是操作系统接收网卡收到的数据，缓存到一个buffer中，应用程序调用操作系统的函数（就是操作系统提供的IO接口），从对应的buffer中取出数据。操作系统在网络IO过程中充当了一个提供抽象接口的角色。

## 2.10 网络IO过程总结 ##

> 先给出网络IO的一个大概过程，方面后面理解具体的IO模型，后面再详细深入地研究IO模型。如下图所示：

# 3 Linux IO模型 #

--------------------

> 注意，本文多次出现网络IO的本质是xxx，几乎每次出现阐述都不一致，不用纠结，我们需要反复琢磨思考，先从整体上认知。

> **IO模型，其实就是操作系统提供的IO接口，其实就是一些函数**。调用这些函数，常常称为 **系统调用**，笔者专注于Java，后面结合Java来说。常见的IO模型有BIO、NIO、Select、POLL、EPOLL，后三者称为多路复用器。

网络IO的本质是socket的读取，socket会被Linux抽象成流，IO可以看作是对流的操作。**以Read举例子，对于一次IO访问，数据先被拷贝到内核的缓冲区中，然后才从操作系统内核的缓冲区中拷贝到应用程序的地址空间。**

当发生一次Read操作时，会发生以下2个阶段：

1.  等待数据准备
2.  将数据从内核拷贝到进程中

对于Socket流而言，发生如下：

1.  通常等待网络上其他数据分组到达，然后被复制到内核的某个缓冲区中
2.  把数据从内核的缓冲区复制到应用进程缓冲区

> **网络应用需要处理的无非就是网络IO、数据计算。前者给应用带来的性能瓶颈大于后者。**

网络IO有如下几种：

*  同步模型（synchronous IO）
 *  阻塞IO（blocking IO）
 *  非阻塞IO（non-blocking IO）
 *  多路复用IO（multiplexing IO）
 *  信号驱动式IO（signal-driven IO）
 *  异步IO（asynchronous IO）

## 3.1 同步阻塞IO（Blocking IO） ##

### 3.1.1 网络模型 ###

用户空间的进程执行一个系统调用，比如recvfrom，这会导致应用程序阻塞，期间什么都不干，直到数据准备好，并且数据被从内核缓冲区复制到用户进程。

> 调用recv/recvfrom函数时，发生在内核中等待数据和复制数据的过程如下图所示：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjM0ODQ2_size_16_color_FFFFFF_t_70_pic_center 4]

### 3.1.2 流程描述 ###

如上图所示，用户进程调用recvfrom这个系统调用，内核即开始IO的第一个阶段，对于网络IO来说，此时还未收到一个完整的数据包，通常需要等待其他数据报到来组成一个完整的数据包。这个过程是数据被复制到内核的某个缓冲区中。此时用户进程会自行阻塞。复制完后，进入第二个阶段。内核一直等到数据准备好了，就把数据从内核复制到用户空间。内核返回结果，用户进程解除阻塞状态，重新运行起来。

### 3.1.3 特点 ###

用户进程在IO的两个阶段都在阻塞

### 3.1.4 优缺点 ###

优点：

1.  能即时返回数据，无延迟，实时性较高
2.  对内核开发者来说非常省事

缺点：

1.  对用户来说处于等待就要付出性能的代价了

## 3.2 同步非阻塞IO（nonblocking IO） ##

### 3.2.1 网络模型 ###

用户进程调用recvfrom系统调用，进程没有被阻塞，内核马上返回给进程，如果数据还没准备好，此时返回一个error。进程收到返回后做些别的事请，过一会再发起recvfrom系统调用。如此循环重复，此过程常称为轮询。直到数据准备好并且已经被复制到用户空间。如下图所示：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjM0ODQ2_size_16_color_FFFFFF_t_70_pic_center 5]

### 3.2.2 流程描述 ###

用户进程发出recvfrom操作，用户进程不会被阻塞，内核若还未准备好数据，则会返回一个error。此时用户进程可以干别的事请，过一会再调用recvfrom询问内核是否准备好了数据，此操作称为轮询。一旦内核准备好了数据并且用户进程前来询问，此时内核将数据复制到用户空间中并且返回。

### 3.2.3 特点 ###

同步非阻塞IO，用户进程不断地询问内核是否准备好了数据。

### 3.2.4 优缺点 ###

优点：

1.  能在等待的时间内干其他事请

缺点：

1.  任务完成的响应延迟增大。因为每隔一段时间才轮询recvfrom操作，任务可能在2次轮询之间的任意时间完成了。这会导致整体数据吞吐量降低。

## 3.3 IO多路复用（IO multiplexing） ##

### 3.3.1 网络模型 ###

同步非阻塞IO是由用户进程去轮询内核是否准备好了数据。IO多路复用则使用一个特定的进程去轮询。这就是IO多路复用。常见的select、poll、epoll就是干这个的。**select调用是内核级别的。select与同步非阻塞的区别在于：前者能等待多个socket，即能同时监听多个IO端口。当内核对任何一个socket准备好了部分数据（select无需等所有数据包到达内核后才开始，内核会负责监视是否有数据到达）就能返回，然后用户进程再进行recvfrom调用，将数据从内核复制到用户空间。**

select、poll、epoll可以同时阻塞多个IO操作。直到内核监视到有数据到达内核，才真正调用IO操作函数。

如下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjM0ODQ2_size_16_color_FFFFFF_t_70_pic_center 6]

### 3.3.2 流程描述 ###

IO multiplexing就是常说的select、poll、epoll。好处是用一个进程即可处理多个网络连接的IO。其原理是select、poll、epoll不断地轮询负责的socket，当某个socket有数据到达内核，就通知用户进程。

用户进程调用select，整个进程会被阻塞。内核监视select负责的所有socket，任何一个有数据准备好，select就返回。此时用户再调用recvfrom，将数据从内核拷贝到用户进程。

### 3.3.3 特点 ###

**IO 多路复用需要使用2个系统调用：select、recvfrom。而阻塞IO只需一个。但是select的优势在于它可以同时处理多个socket。**

**select/epoll的优势是能处理更多的连接，而不是处理单个连接更快。** 因此如果连接数不是很高，使用select/epoll的Web服务器不一定比使用blocking IO的Web服务器性能更好。延迟有可能更大。

**IO多路复用是阻塞在select，epoll这样的系统调用之上，而没有阻塞在真正的I/O系统调用如recvfrom之上。**

### 3.3.4 优缺点 ###

I/O多路复用技术通过把多个I/O的阻塞复用到同一个select的阻塞上，从而使得系统在单线程的情况下可以同时处理多个客户端请求。与传统的多线程/多进程模型比，I/O多路复用的最大优势是系统开销小，系统不需要创建新的额外进程或者线程，也不需要维护这些进程和线程的运行，降底了系统的维护工作量，节省了系统资源，

### 3.3.5 场景 ###

I/O多路复用的主要应用场景如下：

1.  服务器需要同时处理多个处于监听状态或者多个连接状态的套接字
2.  服务器需要同时处理多种网络协议的套接字

### 3.3.6 小总结 ###

前面三种IO模式，在用户进程进行系统调用的时候，他们在等待数据到来的时候，处理的方式不一样，直接等待，轮询，select或poll轮询，两个阶段过程：

1.  第一个阶段有的阻塞，有的不阻塞，有的可以阻塞又可以不阻塞
2.  第二个阶段都是阻塞的

**从整个IO过程来看，他们都是顺序执行的，因此可以归为同步模型(synchronous)。都是进程主动等待且向内核检查状态。**

## 3.4 信号驱动式IO（signal-driven IO） ##

此种IO用得不多，这里简单介绍。用户进程建立SIGIO的信号处理程序。用户进程不阻塞，继续运行。内核准备好数据则返回一个SIGIO信号给信号处理程序。用户进程再调用系统调用recvfrom，内核将数据复制到用户空间。如下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjM0ODQ2_size_16_color_FFFFFF_t_70_pic_center 7]

## 3.5 异步IO ##

### 3.5.1 网络模型 ###

用户进程进行aio\_read系统调用后，无论内核是否准备好数据，都会直接返回给用户进程，然后用户进程去做别的事请。等到socket数据准备好后，内核直接复制给进程，然后从内核向进程发送通知。IO两个阶段，进程都是非阻塞的。如下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjM0ODQ2_size_16_color_FFFFFF_t_70_pic_center 8]

### 3.5.2 流程描述 ###

用户进程发起aio\_read操作之后，立刻就可以开始去做其它的事。而另一方面，从kernel的角度，当它受到一个asynchronous read之后，首先它会立刻返回，所以不会对用户进程产生任何block。然后，kernel会等待数据准备完成，然后将数据拷贝到用户内存，当这一切都完成之后，kernel会给用户进程发送一个signal或执行一个基于线程的回调函数来完成这次 IO 处理过程，告诉它read操作完成了。

## 3.6 总结 ##

调用blocking IO会一直block住对应的进程直到操作完成，而non-blocking IO在kernel还准备数据的情况下会立刻返回。

non-blocking IO在执行recvfrom这个system call的时候，如果kernel的数据没有准备好，这时候不会block进程。但是，当kernel中数据准备好的时候，recvfrom会将数据从kernel拷贝到用户内存中，这个时候进程是被block了，在这段时间内，进程是被block的。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjM0ODQ2_size_16_color_FFFFFF_t_70_pic_center]: /images/20221021/14d8019743f54a9fa4b5853dd5398fa2.png
[Linux _IO]: https://www.jianshu.com/p/486b0965c296
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjM0ODQ2_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221021/7885bfb5957645d9a39e79fb0fafae6c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjM0ODQ2_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221021/746ceea3bfb246729d6053fc3a5c980d.png
[fd]: https://www.itqiankun.com/article/file-fd
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjM0ODQ2_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221021/849c07fa33e3419eadaf84b8523e9705.png
[CSDN_IO]: https://blog.csdn.net/qq_40373699/article/details/106770454?spm=1001.2014.3001.5506
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjM0ODQ2_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221021/c1827c5d932744ceb5055828ca9dbc86.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjM0ODQ2_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221021/a12ed8feea674ecb9f8d15e00a1b1fd4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjM0ODQ2_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20221021/3a59e3b4c1b64e6db412915bddd5feb4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjM0ODQ2_size_16_color_FFFFFF_t_70_pic_center 7]: /images/20221021/c1e7be1182c0477fb0c88b126cd901d7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNjM0ODQ2_size_16_color_FFFFFF_t_70_pic_center 8]: /images/20221021/682e268f3ee74912966b034be52ce993.png