一、kafka简介
Kafka是一个高吞吐量、分布式的发布—订阅消息系统。目前kafka已经定位为一个分布式流式处理平台。
kafka主要扮演如下三大“角色”
- 消息系统：Kafka和传统的消息系统（也称为消息中间件）都具备系统解耦、冗余存储、流量削峰、缓冲、异步通信、扩展性、可恢复性等功能。于此同时Kafka还提供了大多数系统难以实现的消息顺序性保障及回溯消费的功能。
- 存储系统：Kafka把消息持久化到磁盘，降低了数据丢失的风险。得益于Kafka的持久化功能和多副本机制，我们可以把Kafka作为长期的数据存储系统使用。
- 流式处理平台：Kafka不仅为每个流行的流式处理框架提供了可靠的消息来源，还提供了一个完整的流式处理类库，比如窗口、连接、变换和聚合等操作。
Kafka体系结构
- Producer：生产者，也就是发送消息的一方，生产者负责创建消息，然后将其投递到Kafka中。
- Consumer：消费者，也就是接收消息的一方。
- Broker：服务代理节点。如果一台服务器上值部署了一个Kafka实例，可以将Broker看做一台Kafka服务器。一个或者多个Broker看做一个Kafka集群。
- Topic：主题，Kafka中消息以主题为单位进行归类。
- 分区：主题是逻辑上的概念，它还可以细分为多个分区，一个分区只属于单个主题。分区在存储层面可以看做一个可追加的日志文件。
- offset：偏移量，消息在被追加到日志文件中的时候会分配一个特定的偏移量。offset是消息在分区中的唯一标识。Kafka通过它来保证消息在分区内的顺序性，不过offset并不跨越分区。
- 多副本机制：Kafka为分区引入多副本机制，通过增加副本数量可以提升容灾能力。同一分区的不同副本中保存的是相同的消息（在同一时刻，副本之间并非完全一样），副本之间是‘一主多从’的关系，其中leader副本负责处理读写请求，follower副本只负责与leader副本同步消息。副本处于不同的broker中。