1.1、Kafka的概述
在流式计算中，Kafka一般用于数据的缓存，Storm通过消费Kafka的数据进行计算。
经典架构：Flume + Kafka + Storm/SparkStreaming + Redis
Apache Kafka最初由LinkedIn开发的基于发布订阅的分布式的消息系统，由Scala/Java编写，并于 2011 年初开源。2012 年 10 月从 Apache Incubator 毕业，现在是 Apache 软件基金会负责维护的一个顶级开源消息系统项目。该项目的目标是为处理实时数据提供一 个统一、高通量、低等待的平台。它以可水平扩展和高吞吐率而被广泛使用。目前越来越多 的开源分布式处理系统如 Cloudera、Apache Storm、Spark 都支持与 Kafka 集成。
Kafka 是一个分布式消息队列：具有生产者、消费者的功能。它提供了类似于 JMS 的特性， 但是在设计实现上完全不同，此外它并不是 JMS 规范的实现。
Kafka对于消息保存时根据以Topic进行归纳，发送消息者称为Producer，消息接受者称为Consumer，此外 Kafka 集群有多个 Kafka 实例组成，每个实例(server)成为 broker。
无论是Kafka集群，还是Producer和Consumer都依赖于ZooKeeper集群保存一些meta信息， 来保证系统可用性
Kafka 官网：http://kafka.apache.org/
1.2、Kafka的特性
高吞吐量、低延迟：：kafka 每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个 topic 可以分多个 partition，consumer group 对 partition 进行消费操作
可扩展性：kafka 集群支持热扩展
持久化、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失
容错性：允许集群中节点失败（若副本数量为 n，则允许 n-1 个节点失败）
高并发：支持数千个客户端同时读写