初识Kafka
Kafka的基本介绍
kafka是一个分布式，分区的，多副本的，多订阅者的消息发布订阅系统（分布式MQ系统），可以用于搜索日志，监控日志，访问日志等。
最初由linkedin公司开发，使用scala语言编写。
kafka对消息保存时根据 Topic进行归类 。
发送消息者称为：Producer（生产者）。
消息接收者称为：Consumer（消费者）。
kafka集群由多个kafka实例组成每个实例server称为：Broker（服务器）。
无论kafka集群，还是producer和consumer都依赖于zookeeper来保证系统可用性集群保存一些meta信息。
Kafka的好处
可靠性：分布式的，分区，复制和容错。可扩展性：kafka 消息传递系统轻松缩放，无需停机。耐用性：kafka 使用分布式提交日志，这意味着消息会尽可能快速的保存在磁盘上，因此它是持久的。性能：kafka 对于发布和订阅消息都具有高吞吐量。及时存储了许多TB的消息，也爆出稳定的性能。kafka非常快：保证零停机和零数据丢失。
分布式的发布与订阅系统
apache kafka是一个分布式发布-订阅消息系统和一个强大的队列，可以处理大量的数据，并使能够将消息从一个端点传递到另一个端点，kafka适合离线和在线消息消费。
kafka消息保留在磁盘上，并在集群内复制以防止数据丢失。
kafka构建在zookeeper同步服务之上。它与apache和spark非常好的集成，应用于实时流式数据分析。
kafka的主要应用场景
- 指标分析：通常用于操作监控数据辅助分析。
- 日志的汇聚：在多节点，多业务生产数据的系统直接调用 kafka Producer 的API 发送数据。
- 流式处理：kafka 可以实时传递数据到实时计算框架中（sparkstreaming finlk）。
