Kafka的概念与功能
Kafka设计目标
1.高吞吐率：在廉价的商用机器上单机可支持每秒100万条消息的读写
2.消息持久化：所有消息均被持久化到磁盘，无消息丢失，支持消息重放
3.完全分布式：Producer、Broker、Consumer均支持水平扩展
4.同时适应在线流处理和离线批处理
Kafka一般会单独部署集群，用来做日志（如点击数据，访问记录，Nginx日志..）传输，但不能在数据不能丢失的场景下使用，大概会有3-5台服务器组成集群，同时因为Kafka将数据放在内存里，所以对内存大小的要求会比较高，同时硬盘要SAS以上的。
Kafka与其他同类对比
| ActiveMQ | RabbitMQ | Kafka | |
| 所属社区/公司 | Apache | Mozilla Public License | Apache/LinkedIn |
| 开发语言 | Java | Erlang | Java/Scala |
| 支持的协议 | OpenWire、STOMP、REST、XMPP、AMQP | AMQP | 仿AMQP |
| 事务 | 支持 | 不支持 | 不支持 |
| 集群 | 支持 | 支持 | 支持 |
| 负载均衡 | 支持 | 支持 | 支持 |
| 动态扩容 | 不支持 | 不支持 | 支持(zookeeper) |
ActiveMQ和RabbitMQ更多的是作为消息队列（即各进程之间通信所传输的就叫消息），Kafka更多的是日志传输。
Kafka工作流程
前端程序（Producer）将数据push到Kafka，注意，Kafka不会主动的去拉取数据，Zookeeper主要保存的是数据的元数据，比如分区的数据。Kafka提供partition进行灾备，通过partition提供高并发的负载写入。接收到的数据就可以提供给后端的程序（Consumer）来做处理。