概述考虑这样一种常用的情形:你需要将静态内容(类似图片、文件)展示给用户 。那么这个情形就意味着你需要先将静态内容从磁盘中拷贝出来放到一个内存buf中 , 然后将这个buf通过socket传输给用户 , 进而用户或者静态内容的展示 。这看起来再正常不过了 , 但是实际上这是很低效的流程 , 我们把上面的这种情形抽象成下面的过程:
read(file, tmp_buf, len);write(socket, tmp_buf, len);首先调用read将静态内容 , 这里假设为文件A , 读取到tmp_buf, 然后调用write将tmp_buf写入到socket中 , 如图:
文章插图
在这个过程中文件A的经历了4次copy的过程:
- 首先 , 调用read时 , 文件A拷贝到了kernel模式;
- 之后 , CPU控制将kernel模式数据copy到user模式下;
- 调用write时 , 先将user模式下的内容copy到kernel模式下的socket的buffer中;
- 最后将kernel模式下的socket buffer的数据copy到网卡设备中传送;
幸运的是 , 你可以用一种叫做Zero-Copy的技术来去掉这些无谓的copy 。应用程序用Zero-Copy来请求kernel直接把disk的data传输给socket , 而不是通过应用程序传输 。Zero-Copy大大提高了应用程序的性能 , 并且减少了kernel和user模式上下文的切换 。
详述Zero-Copy技术省去了将操作系统的read buffer拷贝到程序的buffer , 以及从程序buffer拷贝到socket buffer的步骤 , 直接将read buffer拷贝到socket buffer. JAVA NIO中的FileChannal.transferTo()方法就是这样的实现 , 这个实现是依赖于操作系统底层的sendFile()实现的 。
public void transferTo(long position, long count, WritableByteChannel target);他底层的调用时系统调用**sendFile()**方法:
#include <sys/socket.h>ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);下图展示了在transferTo()之后的数据流向:
文章插图
下图展示了在使用transferTo()之后的上下文切换:
文章插图
使用了Zero-Copy技术之后 , 整个过程如下:
- transferTo()方法使得文件A的内容直接拷贝到一个read buffer(kernel buffer)中;
- 然后数据(kernel buffer)拷贝到socket buffer中 。
- 最后将socket buffer中的数据拷贝到网卡设备(protocol engine)中传输;
但是这是Zero-Copy么 , 答案是否定的 。
进阶linux 2.1内核开始引入了sendfile函数(上一节有提到),用于将文件通过socket传送 。
sendfile(socket, file, len);该函数通过一次系统调用完成了文件的传送 , 减少了原来read/write方式的模式切换 。此外更是减少了数据的copy, sendfile的详细过程如图:
文章插图
通过sendfile传送文件只需要一次系统调用 , 当调用sendfile时:
- 首先(通过DMA)将数据从磁盘读取到kernel buffer中;
- 然后将kernel buffer拷贝到socket buffer中;
- 最后将socket buffer中的数据copy到网卡设备(protocol engine)中发送;
sendfiel与read/write模式相比 , 少了一次copy 。但是从上述过程中也可以发现从kernel buffer中将数据copy到socket buffer是没有必要的 。
Linux2.4 内核对sendfile做了改进 , 如图:
文章插图
改进后的处理过程如下:
- 将文件拷贝到kernel buffer中;
- 向socket buffer中追加当前要发生的数据在kernel buffer中的位置和偏移量;
- 根据socket buffer中的位置和偏移量直接将kernel buffer的数据copy到网卡设备(protocol engine)中;
推荐阅读
- 井底之蛙还有哪些成语故事 井底之蛙这个成语的由来
- 顺治的废后博尔济吉特氏 清朝博尔济吉特氏地位
- 土豆面膜做法有哪些
- 不懂碧螺春价格,怎样区别正宗西山碧螺春
- 吕布命丧白门楼上 吕布死于白门楼
- 白茶饼是泡还是煮,大麦茶用开水还是直接煮
- 汉文帝之后 汉文帝以后是哪个皇帝
- 为什么眼皮痒还起皮
- 钻木取火是成语还是词语 钻木取火的典故
- 灵活就业属于职工还是居民医保?