kafka学习笔记之一-入门

1-docker安装kafka:

              安装可以去这个链接docker安装部署kafka

2-了解下消息队列(Message Queue):

          2.1 消息队列模式:

                 点对点:消息生产者生产消息发送到队列(queue)中,然后消息消费者主动从队列中取出并且消费消息。消息被消费之                                        后,队列不再存储,所以消息消费者不可能消费到已经被消费的消息。

                 发布订阅:发布者发送到topic的消息,只有订阅了topic的订阅者才会收到消息。topic实现了发布和订阅,当你发布一个                                    消息,所有订阅这个topic的服务都能得到这个消息.

         2.2 消息队列的优点:1.解耦;2.冗余(数据设置缓存;)3.可扩展性(集群)4.灵活性,峰值处理能力;5.可恢复性(主从                                                 备份)6.异步通信等等

                              

         注意:对于一个消息而言,点对点只会有一个消费者消费,发布订阅的模式中订阅对应主题的都可以消费

3-kafka定义和使用场景:

           kafka是一个基于发布/订阅模式的消息队列,主要应用于大数据实时处理领域,日志聚合,事件采集等场景中。

4-kafka基本术语 

           Topic:Kafka将消息分门别类,每一类的消息称之为一个主题(Topic)

           Producer:发布消息的对象称之为主题生产者(Kafka topic producer)

           Consumer:订阅消息并处理发布的消息的对象称之为主题消费者(consumers)
           Broker:已发布的消息保存在一组服务器中,称之为Kafka集群。集群中的每一个服务器都是一个代理(Broker)。 消费者                            可以订阅一个或多个主题(topic),并从Broker拉数据,从而消费这些已发布的消息

           partition(分区):每一个分区都是一个顺序的、不可变的消息队列, 并且可以持续的添加(每个分区有一个leader,零                                                   多个follower。Leader处理此分区的所有的读写请求,而follower被动的复制数据)

           offset:分区中的消息都被分了一个序列号,称之为偏移量(offset),在每个分区中此偏移量都是唯一的

5-kafka的基本操作:

          1-创建topic:    bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
          2-查看所有topic:   bin/kafka-topics.sh --list --zookeeper localhost:2181
          3-查看指定topic: bin/kafka-topics.sh --zookeeper localhost:2181 --describe --topic first
          4-向指定的主题生产消息:  bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
          5-消费消息:   bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
          6-启动kafak服务:bin/kafka-server-start.sh config/server.properties  (启动kafka前需要启动zookeeper)

   zookeeprt相关命令:
         1. 启动ZK服务:       sh bin/zkServer.sh start
         2. 查看ZK服务状态:  sh bin/zkServer.sh status
         3. 停止ZK服务:       sh bin/zkServer.sh stop
         4. 重启ZK服务:       sh bin/zkServer.sh restart

    

博客是自己学习整理的资料,给自己总结用的,有错的望指出,谢谢!

参考和推荐学习资料:

kafka命令大全
尚学堂视频学习资料

官方中文文档

猜你喜欢

转载自blog.csdn.net/lin_keys/article/details/103916635