系统调用函数mmap和内核驱动mmap之间的联系与区别以及mmap原理详解以及实现内核用户空间之间的共享内存

约定不等于承诺〃 2023-06-19 13:28 59阅读 0赞

## mmap基础概念 ##

如果没有mmap，只有ioremap：那么将内核空间虚拟地址映射到物理内存/设备内存后，这段虚拟内存若想被用户空间使用，必然存在一个"从内核空间向用户控件内存拷贝"的过程。（深入linux设备驱动内核机制 ch10.）malloc一般就是通过系统调用brk()+mmap()实现的

mmap是一种内存映射文件的方法，即将 一个文件 或 一块设备内存（如设备寄存器）映射到进程的地址空间，实现文件磁盘地址（or 设备IO地址）和进程虚拟地址空间中一段虚拟地址的一一对映关系（注意是向用户空间映射，如果是向内核空间映射则是 ioremap函数了）。进程就可以采用指针的方式读写操作这段内存，系统会自动回写脏页面到对应的文件磁盘上（或写入到设备地址空间），即完成了对文件/设备的操作 而不必再调用read,write等系统调用函数。相反，内核空间对这段区域的修改也直接反映到用户空间，从而可以实现不同进程间的文件共享。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RkZGRmYW5n_size_16_color_FFFFFF_t_70][]

进程的虚拟地址空间，由多个虚拟内存区域构成。虚拟内存区域是进程的虚拟地址空间中的一个同质区间（具有同样特性的连续地址范围）。上图中的text数据段（代码段）、初始数据段、BSS数据段、堆、栈和内存映射，都是一个独立的虚拟内存区域。而为内存映射服务的地址空间处在堆栈之间的空余部分。linux内核使用vm\_area\_struct结构来表示一个独立的虚拟内存区域，由于每个不同质的虚拟内存区域功能和内部机制都不同，因此一个进程使用多个vm\_area\_struct结构来分别表示不同类型的虚拟内存区域。各个vm\_area\_struct结构使用 链表 and 红黑树 链接，方便进程快速访问，如下图所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RkZGRmYW5n_size_16_color_FFFFFF_t_70 1][]

vm\_area\_struct结构中包含区域起始和终止地址以及其他相关信息，同时也包含一个vm\_ops指针，其内部可引出所有针对这个区域可以使用的系统调用函数。这样，进程对某一虚拟内存区域的任何操作需要用要的信息，都可以从vm\_area\_struct中获得。**mmap****函数就是要创建一个新的****vm\_area\_struct****结构，并将其与文件****/****设备的物理地址相连**。

## mmap内存映射原理 ##

进程在用户空间调用库函数mmap实现映射，原型：void \*mmap(void \*start, size\_t length, int prot, int flags, int fd, off\_t offset); (fd 可以是普通的文件或者设备文件，若是设备文件则要求驱动程序实现file\_operations.mmap操作)。mmap内存映射的实现过程，总的来说可以分为三个阶段：

**（一）用户空间启动映射过程，并在虚拟地址空间中为映射创建虚拟映射区域**

1、start 参数通常为 NULL，系统会在该进程的虚拟地址空间的 MMAP 区寻找一段空闲的满足要求的连续的虚拟地址。为此虚拟区分配一个vm\_area\_struct结构并初始化后，将其插入进程的 虚拟地址区域 链表&树 中。

**（二）调用内核空间****mmap****，实现文件****/****设备物理地址和进程虚拟地址的一一映射关系**

2、为映射分配了新的虚拟地址区域后，通过待映射的 设备文件 描述符，链接到内核“已打开文件”中该文件的文件结构体（struct file），每个文件结构体维护着和此 已打开文件 相关的各项信息。

3、通过该文件的文件结构体，调用file->f\_op->mmap()其原型为：int mmap(struct file \*filp, struct vm\_area\_struct \*vma)，此为驱动程序实现的内核mmap函数，不同于用户空间的那个mmap。

4、对于文件，驱动实现的mmap需要：通过虚拟文件系统inode模块定位到文件磁盘物理地址。通过remap\_pfn\_range函数建立页表，即实现了文件地址和虚拟地址区域的映射关系。为了提高读写效率和保护磁盘，linux读写文件一般需要先将文件页从磁盘拷贝到页缓存中，所以此时这种映射虽然建立，但也只是知道文件在哪里，后面读写还是要直接操作物理内存（即那块页缓存）的。

5、对于设备，驱动实现的mmap需要：完成页目录表项的配置以便将 vma对象表示的虚拟地址映射到设备物理地址。操作页目录表项建立页面映射的函数同样为remap\_pfn\_range，与文件不同在于可能在虚拟地址和设备物理地址之间没有那层物理内存作为cache。

**（三）（文件映射特有）进程发起对这片映射空间的访问，引发缺页异常，实现文件内容到物理内存（主存）的拷贝**

注：映射文件时前两个阶段仅在于创建虚拟区间并完成地址映射，但并没有将任何文件数据拷贝至主存。真正的文件读取是当进程发起读或写操作时。

6、进程的读或写操作访问虚拟地址空间这一段映射地址，通过查询页表，发现这一段地址并不在物理页面上。因为目前只建立了地址映射，真正的硬盘数据还没有拷贝到内存中，因此引发缺页异常。

7、缺页异常进行一系列判断，确定无非法操作后，内核发起请求调页过程。调页过程先在交换缓存空间（swap cache）中寻找需要访问的内存页，如果没有则调用nopage函数把所缺的页从文件在磁盘的物理地址拷贝到物理内存。

8、之后进程即可对这片主存进行读或者写的操作，如果写操作改变了其内容，一定时间后系统会自动回写脏页面到对应磁盘地址，也即完成了写入到文件的过程。修改过的脏页面并不会立即更新回文件中，而是有一段时间的延迟，可以调用msync()来强制同步, 这样所写的内容就能立即保存到文件里。

## mmap文件映射和常规文件操作的区别 ##

对linux文件系统不了解，请参阅《[从内核文件系统看文件读写过程][Link 1]》，常规文件系统操作（调用read/fread等类函数）中，函数的调用过程：

1、进程发起读文件请求。

2、内核通过查找进程文件符表，定位到内核已打开文件集上的文件信息，从而找到此文件的inode。

3、inode在address\_space上查找要请求的文件页是否已经缓存在页缓存中。如果存在，则直接返回这片文件页的内容。

4、如果不存在，则通过inode定位到文件磁盘地址，将数据从磁盘复制到页缓存。之后再次发起读页面过程，进而将页缓存中的数据发给用户进程。

总结来说，常规文件操作为了提高读写效率和保护磁盘，使用了页缓存机制。这样造成读文件时需要先将文件页从磁盘拷贝到页缓存中，由于页缓存处在内核空间，不能被用户进程直接寻址，所以还需要将页缓存中数据页再次拷贝到内存对应的用户空间中。这样，通过了两次数据拷贝过程，才能完成进程对文件内容的获取。写操作也是一样，待写入的buffer在内核空间不能直接访问，必须要先拷贝至内核空间对应的主存，再写回磁盘中（延迟写回），也是需要两次数据拷贝。

而使用mmap操作文件中，创建新的虚拟内存区域和建立文件磁盘地址和虚拟内存区域映射这两步，没有任何文件拷贝操作。而之后访问数据时发现内存中并无数据而发起的缺页异常过程，可以通过已经建立好的映射关系，只使用一次数据拷贝，就从磁盘中将数据传入内存的用户空间中，供进程使用。

**总而言之，常规文件操作需要从磁盘到页缓存再到用户主存的两次数据拷贝。而****mmap****操控文件，只需要从磁盘到用户主存的一次数据拷贝过程。**说白了，

1、mmap的关键点是实现了用户空间和内核空间的数据直接交互而效率更高。

2、mmap还提供了两个进程间共享内存及相互通信的一种方式。同时，如果进程A和进程B都映射了区域C，当A第一次读取C时通过缺页从磁盘复制文件页到内存中；但当B再读C的相同页面时，虽然也会产生缺页异常，但是不再需要从磁盘中复制文件过来，而可直接使用已经保存在内存中的文件数据。

3、可用于实现高效的大规模数据传输。内存空间不足，是制约[大数据][Link 2]操作的一个方面，解决方案往往是借助硬盘空间协助操作，补充内存的不足。但是进一步会造成大量的文件I/O操作，极大影响效率。这个问题可以通过mmap映射很好的解决。换句话说，但凡是需要用磁盘空间代替内存的时候，mmap都可以发挥其功效。

## mmap相关函数 ##

**函数原型**

void \*mmap(void \*start, size\_t length, int prot, int flags,int fd, off\_t offset);

**返回说明**

成功执行时，mmap()返回被映射区的指针。失败时，mmap()返回MAP\_FAILED\[其值为(void \*)-1\]， error被设为以下的某个值：

1 EACCES：访问出错

2 EAGAIN：文件已被锁定，或者太多的内存已被锁定

3 EBADF：fd不是有效的文件描述词

4 EINVAL：一个或者多个参数无效

5 ENFILE：已达到系统对打开文件的限制

6 ENODEV：指定文件所在的文件系统不支持内存映射

7 ENOMEM：内存不足，或者进程已超出最大内存映射数量

8 EPERM：权能不足，操作不允许

9 ETXTBSY：已写的方式打开文件，同时指定MAP\_DENYWRITE标志

10 SIGSEGV：试着向只读区写入

11 SIGBUS：试着访问不属于进程的内存区

**参数**

start：用户空间虚拟地址的开始地址（也可以为0，此时系统自动在用户空间寻找一块虚拟地址，返回）

--------------------

length：映射区的长度

--------------------

prot：期望的内存保护标志，不能与文件的打开模式冲突。是以下的某个值，可以通过or运算合理地组合在一起

1 PROT\_EXEC ：页内容可以被执行

2 **PROT\_READ** ：页内容可以被读取

3 **PROT\_WRITE** ：页可以被写入

4 PROT\_NONE ：页不可访问

--------------------

flags：指定映射对象的类型，映射选项和映射页是否可以共享。它的值可以是一个或者多个以下位的组合体

1 MAP\_FIXED //使用指定的映射起始地址，如果由start和len参数指定的内存区重叠于现存的映射空间，重叠部分将会被丢弃。如果指定的起始地址不可用，操作将会失败。并且起始地址必须落在页的边界上。

2 **MAP\_SHARED** //与其它所有映射这个对象的进程共享映射空间。对共享区的写入，相当于输出到文件。直到msync()或者munmap()被调用，文件实际上不会被更新。

3 MAP\_PRIVATE //建立一个写入时拷贝的私有映射。内存区域的写入不会影响到原文件。这个标志和以上标志是互斥的，只能使用其中一个。

4 MAP\_DENYWRITE //这个标志被忽略。

5 MAP\_EXECUTABLE //同上

6 MAP\_NORESERVE //不要为这个映射保留交换空间。当交换空间被保留，对映射区修改的可能会得到保证。当交换空间不被保留，同时内存不足，对映射区的修改会引起段违例信号。

7 MAP\_LOCKED //锁定映射区的页面，从而防止页面被交换出内存。

8 MAP\_GROWSDOWN //用于堆栈，告诉内核VM系统，映射区可以向下扩展。

9 MAP\_ANONYMOUS //匿名映射，映射区不与任何文件关联。

10 MAP\_ANON //MAP\_ANONYMOUS的别称，不再被使用。

11 MAP\_FILE //兼容标志，被忽略。

12 MAP\_32BIT //将映射区放在进程地址空间的低2GB，MAP\_FIXED指定时会被忽略。当前这个标志只在x86-64平台上得到支持。

13 MAP\_POPULATE //为文件映射通过预读的方式准备好页表。随后对映射区的访问不会被页违例阻塞。

14 MAP\_NONBLOCK //仅和MAP\_POPULATE一起使用时才有意义。不执行预读，只为已存在于内存中的页面建立页表入口。

--------------------

fd：有效的文件描述符。如果MAP\_ANONYMOUS被设定，为了兼容问题，其值应为-1

--------------------

offset：被映射对象内容的起点

**相关函数**

int munmap( void \* addr, size\_t len )

成功执行时，munmap()返回0。失败时，munmap返回-1，error返回标志和mmap一致；

该调用在进程地址空间中解除一个映射关系，addr是调用mmap()时返回的地址，len是映射区的大小；

当映射关系解除后，对原来映射地址的访问将导致段错误发生。

int msync( void \*addr, size\_t len, int flags )

一般说来，进程在映射空间的对共享内容的改变并不直接写回到磁盘文件中，往往在调用munmap（）后才执行该操作。

可以通过调用msync()实现磁盘上文件内容与共享内存区的内容一致。

## mmap使用细节 ##

1、使用mmap需要注意的一个关键点是，mmap映射区域大小必须是物理页大小(page\_size)的整倍数（32位系统中通常是4k字节）。原因是，内存的最小粒度是页，而进程虚拟地址空间和内存的映射也是以页为单位。为了匹配内存的操作，mmap从磁盘到虚拟地址空间的映射也必须是页。

2、内核可以跟踪被内存映射的底层对象（文件）的大小，进程可以合法的访问在当前文件大小以内又在内存映射区以内的那些字节。也就是说，如果文件的大小一直在扩张，只要在映射区域范围内的数据，进程都可以合法得到，这和映射建立时文件的大小无关。具体情形参见“情形三”。

3、映射建立之后，即使文件关闭，映射依然存在。因为映射的是磁盘的地址，不是文件本身，和文件句柄无关。同时可用于进程间通信的有效地址空间不完全受限于被映射文件的大小，因为是按页映射。

在上面的知识前提下，我们下面看看如果大小不是页的整倍数的具体情况：

**情形一：一个文件的大小是****5000****字节，****mmap****函数从一个文件的起始位置开始，映射****5000****字节到虚拟内存中。**

分析：因为单位物理页面的大小是4096字节，虽然被映射的文件只有5000字节，但是对应到进程虚拟地址区域的大小需要满足整页大小，因此mmap函数执行后，实际映射到虚拟内存区域8192个 字节，5000~8191的字节部分用零填充。映射后的对应关系如下图所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RkZGRmYW5n_size_16_color_FFFFFF_t_70 2][]

此时：

（1）读/写前5000个字节（0~4999），会返回操作文件内容。

（2）读字节5000~8191时，结果全为0。写5000~8191时，进程不会报错，但是所写的内容不会写入原文件中 。

（3）读/写8192以外的磁盘部分，会返回一个SIGSECV错误。

情形二：一个文件的大小是5000字节，mmap函数从一个文件的起始位置开始，映射15000字节到虚拟内存中，即映射大小超过了原始文件的大小。

分析：由于文件的大小是5000字节，和情形一一样，其对应的两个物理页。那么这两个物理页都是合法可以读写的，只是超出5000的部分不会体现在原文件中。由于程序要求映射15000字节，而文件只占两个物理页，因此8192字节~15000字节都不能读写，操作时会返回异常。如下图所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RkZGRmYW5n_size_16_color_FFFFFF_t_70 3][]

此时：

（1）进程可以正常读/写被映射的前5000字节(0~4999)，写操作的改动会在一定时间后反映在原文件中。

（2）对于5000~8191字节，进程可以进行读写过程，不会报错。但是内容在写入前均为0，另外，写入后不会反映在文件中。

（3）对于8192~14999字节，进程不能对其进行读写，会报SIGBUS错误。

（4）对于15000以外的字节，进程不能对其读写，会引发SIGSEGV错误。

情形三：一个文件初始大小为0，使用mmap操作映射了1000\*4K的大小，即1000个物理页大约4M字节空间，mmap返回指针ptr。

分析：如果在映射建立之初，就对文件进行读写操作，由于文件大小为0，并没有合法的物理页对应，如同情形二一样，会返回SIGBUS错误。

但是如果，每次操作ptr读写前，先增加文件的大小，那么ptr在文件大小内部的操作就是合法的。例如，文件扩充4096字节，ptr就能操作ptr ~ \[ (char)ptr + 4095\]的空间。只要文件扩充的范围在1000个物理页（映射范围）内，ptr都可以对应操作相同的大小。

这样，方便随时扩充文件空间，随时写入文件，不造成空间浪费。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RkZGRmYW5n_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20190401105958931.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RkZGRmYW5n,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RkZGRmYW5n_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20190401110025820.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RkZGRmYW5n,size_16,color_FFFFFF,t_70
[Link 1]: http://www.cnblogs.com/huxiao-tee/p/4657851.html
[Link 2]: https://edu.csdn.net/course/detail/9712
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RkZGRmYW5n_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20190401110106928.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RkZGRmYW5n,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RkZGRmYW5n_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20190401110135986.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RkZGRmYW5n,size_16,color_FFFFFF,t_70