Kafka技术介绍
1. PULL VS PUSH
pull和push是两种消息传输方式，各有优缺点。Flume采用了push的方式进行消息传输，对注册后的客户端，主动发送收到的消息。而Kafka采用了传统的消息队列的方式，生产者使用push方式，消费者使用pull方式。
对于生产者来说，Kafka集群的处理能力要远远超过自己，因此可以很放心的进行push。而对于消费者来说，Kafka可以同时支持不同的消费者组，而不同消费者的处理能力也不尽相同，因此为了减轻系统复杂度，对于消费者Kafka采用了pull方式。
2. 消息持久化
Kafka将消息持久化到磁盘，传统观念上磁盘的速度非常慢，对于追求高吞吐量的系统来说使用磁盘并不是明智的选择。但Kafka仍然选择了磁盘，并且实现了高速的读写。主要有以下几个原因：
- 消息使用Append进行写
- 读取消息的时间复杂度为O(1)
- 读写的过程使用了mmap
- ZeroCopy
- 支持消息压缩
2.1 Append写
实验证明，磁盘速度慢的原因是因为寻道耗时非常大，但顺序读写的速度是非常快的，Kafka设计的一个重要优点在于消息的顺序读写。
从图中能看到，每次写消息，都是向文件尾部进行追加的。
2.2 消息读取时间复杂度
Kafka所有文档介绍时间复杂度是O(1)，它的消息存储结构为：
消息目录下存储着以topic-partitionId命名的目录，每个目录下存储按照一定规则切割的segment文件。文件名为第一个消息的offset.kafka。
每条消息内容为：消息头+magic+crc+body。
读取的时候给定一个offset，可以从zk获取到对应的消息文件，通过计算offset和文件名的差值，可以算出来偏移量，根据消息的大小定位出消息的地址。
2.3 ZeroCopy
kafka的消息存储和读取使用了cache技术，每次是先写到cache，每隔一定时间或者达到一定量会flush到磁盘。使用了mmap技术。
Linux使用了分页管理，mmap技术将文件直接映射到内存中的多个页上面，用户对文件的操作，直接转化为对内存的操作。
传统方式的数据访问：
需要经历2个阶段，首先从磁盘将数据读到缓存，之后再从缓存将数据copy到进程的用户态内存。
mmap的数据访问：
mmap实际上会让进程直接访问cache，因为mmap函数，会将缓存映射到进程的地址空间，然后进程即可直接访问。
2.4 Zero-Copy
Zero-Copy是一种提升Web文件读取速度的技术。首先看一下传统的Web Server文件发送方式：
其中数据会经历4次Copy，4次上下文切换。其中2次Copy都需要CPU参与。
而Zero-Copy技术则是：
只需要3次Copy，和2次上下文切换就能完成数据发送，CPU只需要参与一次Copy。
优化：
其实还有一种进一步优化方案是合并Read buffer和socket buffer
2.5 压缩
现实中，Kafka性能的瓶颈在于带宽，经过测试发现，在不断读取消息的过程中，经常会出现网卡被打满的情况。因此压缩技术对Kafka的性能非常重要。Kafka采用了端到端的压缩方式。
客户端的消息可以一起被压缩后送到服务端，并以压缩后的格式写入日志文件，以压缩的格式发送到consumer，消息从producer发出到consumer拿到都被是压缩的，只有在consumer使用的时候才被解压缩，所以叫做“端到端的压缩”。
支持GZip和Snappy协议