kafka的零拷贝(零复制)技术

1.传统的读取数据并发送到网络的步骤如下:

1.操作系统将数据从磁盘文件中读取到内核空间的页面进行缓存;
2.应用程序将数据从内核空间读入用户空间缓冲区;
3.应用程序将读到的数据协会到内核空间并放入socket缓冲区;
4.操作系统将数据从socket缓冲区复制到网卡接口,此时数据才能通过网络进行发送。

在这里插入图片描述

2.kafka的零拷贝技术

通常情况下,kafka的消息会有多个订阅者,生产者发布的消息会被不同的消费者多次消费,为了优化这个流程,kafka使用了“零拷贝技术”,如下:

在这里插入图片描述

“零拷贝技术”只用将磁盘文件的数据复制到页面缓冲区一次,然后将数据从页面的缓存直接发送到网络中(发送给不同的订阅者时,都可以使用同一个页面进行缓存),避免了重复复制操作。

如果有10个消费者,传统方式下,数据复制次数为4 * 10 = 40 次,而是用零拷贝技术只需要复制1 + 10 = 11 次,其中一次为从磁盘复制到页面缓存,10 次表示10个消费者各自读取一次页面缓存,由此可以看出kafka的效率是非常高的。

猜你喜欢

转载自blog.csdn.net/weixin_48929324/article/details/117464843