MappedByteBuffer内存(堆外)文件映射

- 日理万妓 2021-09-19 06:06 572阅读 0赞

在linux中tmpfs是一种可以把内存直接拿来当文件系统使用的一种技术，这一技术也是共享内存/mmap的实现基础。今天我们就来研究一下java中如何使用mmap。

从JDK 1.4版本开始，Java内存映射文件（Memory Mapped Files）就已经在java.nio包中，引入NIO后，Java IO已经相当快，而且内存映射文件提供了Java有可能达到的最快IO操作，这也是为什么那些高性能Java应用应该使用内存映射文件来持久化数据。

IO一直是那些高性能系统的一个主要关注点，内存映射文件允许你使用direct（DirectByteBuffer）或者non-direct 字节缓存（HeapByteBuffer）来直接读写内存。内存映射文件的一个关键优势是操作系统负责真正的读写，即使你的程序在刚刚写入内存后就挂了，操作系统仍然会将内存中的数据写入文件系统。另外一个更突出的优势是共享内存，内存映射文件可以被多个进程同时访问，起到一种低时延共享内存的作用。

**1、什么是Java内存映射文件/IO**

内存映射文件是一种允许Java程序直接从内存访问的特殊文件。通过将整个文件或者文件的一部分映射到内存中、操作系统负责获取页面请求和写入文件，应用程序就只需要处理内存数据，这样可以实现非常快速的IO操作。而且用于内存映射文件的内存在Java的堆空间以外。Java中的java.nio包支持内存映射文件，可以使用MappedByteBuffer来读写内存。

**2、示例：**

下面的例子演示了如何使用内存映射文件来读写。我们使用RandomAccessFile打开文件并使用FileChannel的map()方法将它映射到内存，map()方法有三个输入参数：mode, position, size。返回值MappedByteBuffer是用来处理内存映射文件的字节缓存。

package mmap;
    import java.io.RandomAccessFile;
    import java.nio.MappedByteBuffer;
    import java.nio.channels.FileChannel;
    
    public class MmapTest {
    	private static int count = 10*1024*1024; // 10 MB
    
    	public static void main(String[] args) throws Exception {
    		// TODO Auto-generated method stub
    		RandomAccessFile memoryMappedFile = new RandomAccessFile("D:\\largeFile.txt", "rw");
    
    		// Mapping a file into memory
    		MappedByteBuffer out = memoryMappedFile.getChannel().map(
    FileChannel.MapMode.READ_WRITE, 0, count);
    
    		// Writing into Memory Mapped File
    		for (int i = 0; i < count; i++) {
    			out.put((byte) 'A');
    		}
    		System.out.println("Writing to Memory Mapped File is completed");
    
    		// reading from memory file in Java
    		for (int i = 0; i < 10; i++) {
    			System.out.print((char) out.get(i));
    		}
    		System.out.println("Reading from Memory Mapped File is completed");
    
    		memoryMappedFile.close();
    	}
    }

说明：

*  Java语言通过java.nio包支持内存映射文件和IO。
 *  内存映射文件用于对性能要求高的系统中，它可以将整个文件或一部分加载到内存中；
 *  如果被请求的页面不在内存中，内存映射文件会导致页面错误
 *  将一个文件区间映射到内存中的能力取决于内存的可寻址范围，这个范围的最大值是Integer.MAX\_VALUE，即2的31次方-1 。
 *  Java中的内存映射文件比流IO要快(译注：对于大文件而言是对的，小文件则未必）
 *  用于加载文件的内存在Java的堆内存之外，存在于共享内存中，允许两个不同进程访问文件。注意，这依赖于你用的是direct还是non-direct字节缓存。
 *  读写内存映射文件是操作系统来负责的，因此，即使你的Java程序在写入内存后就挂掉了，只要操作系统工作正常，数据就会写入磁盘。
 *  Direct字节缓存比non-direct字节缓存性能要好；
 *  不要经常调用MappedByteBuffer.force()方法，这个方法强制操作系统将内存中的内容写入硬盘，所以如果你在每次写内存映射文件后都调用force()方法，你就不能真正从内存映射文件中获益，而是跟disk IO差不多。
 *  如果电源故障或者主机瘫痪，有可能内存映射文件还没有写入磁盘，意味着可能会丢失一些关键数据。
 *  MappedByteBuffer和文件映射在缓存被GC之前都是有效的。sun.misc.Cleaner可能是清除内存映射文件的唯一选择。

参考：

[https://blog.csdn.net/napolunyishi/article/details/18214929][https_blog.csdn.net_napolunyishi_article_details_18214929]

[https://www.cnkirito.moe/mq-million-queue/][https_www.cnkirito.moe_mq-million-queue]

[https_blog.csdn.net_napolunyishi_article_details_18214929]: https://blog.csdn.net/napolunyishi/article/details/18214929
[https_www.cnkirito.moe_mq-million-queue]: https://www.cnkirito.moe/mq-million-queue/