前言
分布式，是程序员必备技能之一，在面试过程中属于必备类的，在工作中更是会经常用到。而Kafka是一个分布式的基于发布订阅的消息队列，目前它的魅力是无穷的，对于Kafka的奥秘，还需要我们细细去探寻。
要谈对Kafka有多熟悉，我相信还是阿里的大佬们最有发言权，所以今天分享的内容，就是Alibaba内部供应的“限量笔记”，关于Kafka的精髓全部写在这里面了，不得不感叹：不愧是Alibaba的技术官啊，真的服了！
关于这份Kafka限量笔记，我只能在文章中展示部分的章节内容和核心截图，如果你需要完整的pdf版本，可以关注文末公众号获取
一、对Kafka的认识
1.Kafka的基本概念
image.png
2.安装与配置
image.png
3.生产与消费
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
4.服务端参数配置
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
二、生产者
1.客户端开发
- 必要的参数配置
- 消息的发送
- 序列化
- 分区器
- 生产者拦截器
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
2.原理分析
- 整体架构
- 元数据的更新
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
3.重要的生产者参数
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
三、消费者
1.消费者与消费组
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
2.客户端开发
- 必要的参数配置
- 订阅主题与分区
- 反序列化
- 消息消费
- 位移提交
- 控制或关闭消费
- 指定位移消费
- 再均衡
- 消费者拦截器
- 多线程实现
- 重要的消费者参数
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
四、主题与分区
1.主题的管理
- 创建主题
- 分区副本的分配
- 查看主题
- 修改主题
- 配置管理
- 主题端参数
- 删除主题
image.png
2.初识KafkaAdminCilent
- 基本使用
- 主题合法性验证
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
3.分区的管理
- 优先副本的选举
- 分区重分配
- 复制限流
- 修改副本因子
image.png
4.如何选择合适的分区数
- 性能测试工具
- 分区数越多吞吐量就越高吗
- 分区数的上限
- 考量因素
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
五、日志存储
1.文件目录布局
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
2.日志格式的演变
- v0版本
- v1版本
- 消息压缩
- 变长字段
- v2版本
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
3.日志索引
- 偏移量索引
- 时间戳索引
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
4.日志清理
- 日志删除
- 日志压缩
image.png
5.磁盘存储
- 页缓存
- 磁盘I/O流程
- 零拷贝
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
六、深入服务端
1.协议设计
image.png
2.时间轮
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
3.延时操作
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
4.控制器
image.png
5.参数解密
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
七、深入客户端
1.分区分配策略
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
2.消费者协调器和组协调器
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
3._consumer_offsets剖析
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
4.事务
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
八、可靠性探究
1.副本剖析
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
2.日志同步机制
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
3.可靠性分析
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
九、Kafka应用
1.命令行工具
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
2.Kafka Connect
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
3.Kafka Mirror Maker
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
4.Kafka Streams
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
十、Kafka监控
1.监控数据的来源
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
2.消费滞后
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
3.同步失效分区
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
4.监控指标说明
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
5.监控模块
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
十一、高级应用
1.过期时间(TTL)
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
2.延时队列
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
3.死信队列和重试队列
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
4.消息路由
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
5.消息轨迹
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
6.消息审计
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
7.消息代理
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
8.消息中间件选型
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
十二、Kafka与Spark的集成
1.Spark的安装及简单应用
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
2.Spark编程模型
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
3.Spark的运行结构
image.png
4.Spark Streaming简介
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
5.Kafka与Spark Streaming的整合
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
6.Spark SQL
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
7.Structured Streaming
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
8.Kafka与Structured Streaming的整合
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
总结
我们总是喜欢瞻仰大厂的大神们，但实际上大神也不过凡人，与菜鸟程序员相比，也就多花了几分心思，如果你再不努力，差距也只会越来越大。实际上，作为程序员，丰富自己的知识储备，提升自己的知识深度和广度是很有必要的，在我看来，自己付出多少，回报就有多少。
Kafka的学习，并没有想象中那么难，这份Kafka限量笔记里面的内容，对你学习Kafka必有启发和帮助。如果你需要这份完整版的Kafka笔记，只需你多多支持我这篇文章。关注下方公众号获取即可
