Kafka基本介绍(kafka相关术语,基本概念,用途)

Kafka基本介绍(kafka相关术语,基本概念,用途)

今天看了下 《kafka权威指南》 ,本来打算看完1,3,4,11章再来水文,结果看了国漫 疯味英雄,完全停不下来。就只看完了第一章
加上之前看的很多博客,水一篇文章

清华镜像下载链接:https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.5.0/

kafka

1. Kafka是什么

kafka是一款 外国人开发的,基于发布订阅模型的 消息中间件
书上的定义是说:Kafka是一个流式处理平台。(但是我还没看到11章,没体会到)。

2. Kafka有什么用

  1. kafka可以作为消息中间件使用,我当时搜索消息中间件而了解kafka的
    2. 可以在面试的时候和面试官有的说,这条删掉

3. kafka特性及其原理

可能是因为功能单一,kafka也比较容易理解,和ZooKeeper一样都比较好理解。理解下面这下概念,kafka就差不多了
消息: 消息是Kafka的最小数据单元,每一条记录都是一条消息。多个消息组成批次(批次是同一主题,统一分区的消息,主要是为了节省网络开销)
**分区:**存储消息的单元,在同一个分区,消息是顺序存储的
**主题:**多个分区组成一个主题,一个主题可以被多个消费组消费,一个消费组也可消费说个主题。但是分区只能被同一个消费组的一个消费一次(就是说不能重复消费) kafka会记录消息的偏移量,以此保证消息不被重复消费
broker: kafka运行在服务器的实例就是broker,一个broker可以有多个主题,多个broker组成集群,集群的组成方式有点特殊,是一个特殊的主从,例如 甲乙两个broker分别有 A B 两个topic,其中对于A topic来说,甲服务器是主服务器,乙是从服务器,仅提供备份用。对于B topic来说,乙才是主服务器,甲仅提供备份作用。这样能尽可能提高服务器的使用率
生产者: 产生消息的客户端,生产者可以将消费 推送 多个服务器,都推送成功才认为消息发布成功
消费者: 消费者消费消息的客户端。主动 拉取消息多个消费组组成消费组。

Kafka的的优势:数据持久化(因为记录在磁盘上),可以查找之前消费过的消息。消费发布成功不会丢失。支持消费组

4. 小结

  1. 理解分区,主题,broker,消费组,生产者之间的关系,基本理解就不会差太多
  2. Kafka需要配合ZooKeeper一起使用,有些集群相关的东西是ZooKeeper管理的
  3. 数据存储在磁盘上,因为是追加写入的方式,因为是顺序IO,性能还可以

再不发就明天了,赶紧完成今日任务
总目录:Java进阶之路-目录

            “码奴生来,只知向前”
            《疯味英雄》
            博主:五更依旧朝花落
            首次发布时间:2020年5月24日23:51:16
            末次更新时间:

猜你喜欢

转载自blog.csdn.net/m0_37628958/article/details/106323194
今日推荐