下面从 CPU 拷贝次数、DMA 拷贝次数以及系统调用几个方面总结一下上述几种 I/O 拷贝方式的差别:
JAVA NIO 零拷贝实现
在 Java NIO 中的通道(Channel)就相当于操作系统的内核空间(kernel space)的缓冲区 。
而缓冲区(Buffer)对应的相当于操作系统的用户空间(user space)中的用户缓冲区(user buffer):
- 通道(Channel)是全双工的(双向传输),它既可能是读缓冲区(read buffer),也可能是网络缓冲区(socket buffer) 。
- 缓冲区(Buffer)分为堆内存(HeapBuffer)和堆外内存(DirectBuffer),这是通过 malloc() 分配出来的用户态内存 。
因此,在使用 HeapBuffer 读写数据时,为了避免缓冲区数据因为 GC 而丢失,NIO 会先把 HeapBuffer 内部的数据拷贝到一个临时的 DirectBuffer 中的本地内存(native memory) 。
这个拷贝涉及到 sun.misc.Unsafe.copyMemory() 的调用,背后的实现原理与 memcpy() 类似 。
最后,将临时生成的 DirectBuffer 内部的数据的内存地址传给 I/O 调用函数,这样就避免了再去访问 Java 对象处理 I/O 读写 。
MappedByteBuffer
MappedByteBuffer 是 NIO 基于内存映射(mmap)这种零拷贝方式提供的一种实现,它继承自 ByteBuffer 。
FileChannel 定义了一个 map() 方法,它可以把一个文件从 position 位置开始的 size 大小的区域映射为内存映像文件 。
抽象方法 map() 方法在 FileChannel 中的定义如下:
- public abstract MappedByteBuffer map(MapMode mode, long position, long size)
- throws IOException;
Position:文件映射的起始地址,对应内存映射区域(MappedByteBuffer)的首地址 。
Size:文件映射的字节长度,从 Position 往后的字节数,对应内存映射区域(MappedByteBuffer)的大小 。
MappedByteBuffer 相比 ByteBuffer 新增了三个重要的方法:
- fore():对于处于 READ_WRITE 模式下的缓冲区,把对缓冲区内容的修改强制刷新到本地文件 。
- load():将缓冲区的内容载入物理内存中,并返回这个缓冲区的引用 。
- isLoaded():如果缓冲区的内容在物理内存中,则返回 true,否则返回 false 。
- private final static String CONTENT = "Zero copy implemented by MappedByteBuffer";
- private final static String FILE_NAME = "/mmap.txt";
- private final static String CHARSET = "UTF-8";
- @Test
- public void writeToFileByMappedByteBuffer() {
- Path path = Paths.get(getClass().getResource(FILE_NAME).getPath());
- byte[] bytes = CONTENT.getBytes(Charset.forName(CHARSET));
- try (FileChannel fileChannel = FileChannel.open(path, StandardOpenOption.READ,
- StandardOpenOption.WRITE, StandardOpenOption.TRUNCATE_EXISTING)) {
- MappedByteBuffer mappedByteBuffer = fileChannel.map(READ_WRITE, 0, bytes.length);
- if (mappedByteBuffer != null) {
- mappedByteBuffer.put(bytes);
- mappedByteBuffer.force();
- }
- } catch (IOException e) {
- e.printStackTrace();
- }
- }
- @Test
- public void readFromFileByMappedByteBuffer() {
- Path path = Paths.get(getClass().getResource(FILE_NAME).getPath());
- int length = CONTENT.getBytes(Charset.forName(CHARSET)).length;
- try (FileChannel fileChannel = FileChannel.open(path, StandardOpenOption.READ)) {
- MappedByteBuffer mappedByteBuffer = fileChannel.map(READ_ONLY, 0, length);
- if (mappedByteBuffer != null) {
- byte[] bytes = new byte[length];
- mappedByteBuffer.get(bytes);
- String content = new String(bytes, StandardCharsets.UTF_8);
- assertEquals(content, "Zero copy implemented by MappedByteBuffer");
- }
- } catch (IOException e) {
- e.printStackTrace();
- }
- }
推荐阅读
- 淘宝从百万到千万级并发的14次服务端架构演进之路
- 几百万扔进水?买二手房千万避开这几类房源
- 分布式、高并发、多线程,这些概念还傻傻分不清吗?
- Java 并发编程:如何保证共享变量的原子性?
- 硬核!如何模拟 5w+ 的并发用户?
- 格鲁吉亚中国茶王刘峻周诞辰150周年之际获百万赔偿
- 安徽省科技厅强化科技支撑推进精准扶贫
- PHP导出百万条数据方法
- 重金寻人 , 你是我们要找的百万英雄吗 内含福利
- 带你深入了解高并发架构
