kafka原理分析—broker总体架构和启动流程

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/zg_hover/article/details/86538654

概述

本文分析了kafka的broker的实现架构,通过本文的分析,我们可以对broker的实现架构的各个部分有一个总体的了解。

实现broker的总体架构图

下图是broker内部的总体架构图(该图来自于kafka官方的设计文档):

broker总体架构图
从图中可以看出,kafka系统是由若干子系统构成。根据核心的功能模块,可以大体划分成以下几个子系统:

  • 客户端连接请求处理服务
  • 客户端指令处理服务
  • 日志管理子系统
  • 日志复制子系统
  • API消息处理子系统
  • broker管理子系统

各个子系统通过消息传递进行通信,形成一个整体。

从实现层次上来看,可以分为几层:

  • 网络层:主要用来接收客户端请求,接收并解析客户端的命令,维护和客户端的连接等。
  • API层:根据客户端的命令进行相应的操作。
  • 日志子系统:负责管理数据和数据分区。
  • 日志复制子系统:负责对数据的副本进行管理。
  • Controller子系统:负责完成controller的操作。

broker启动和初始化

broker启动时子系统初始化如下图:

总结

本文分析了kafka 的broker后台的设计架构,并分析了broker的启动和初始化过程。

参考资料

猜你喜欢

转载自blog.csdn.net/zg_hover/article/details/86538654