Kafka Broker | 命令行选项和过程

1.目标

在这个Apache Kafka 教程中,我们将学习Kafka Broker。Kafka Broker管理主题中的消息存储。如果Apache Kafka有多个代理,那就是我们所说的Kafka集群此外,在本Kafka Broker教程中,我们将学习如何启动Kafka Broker和Kafka命令行选项。
那么,让我们开始Apache Kafka Broker。

卡夫卡经纪人

Kafka Broker | 命令行选项和过程

2.什么是Kafa经纪人?

Kafka代理也称为Kafka服务器和Kafka节点。这些所有名称都是它的同义词。简单来说,经纪人是两者之间的中介。但是,Kafka经纪人更准确地描述为消息代理,它负责调解不同计算机系统之间的对话,保证将消息传递给正确的各方。
阅读Apache Kafka Security | Kafka的需求和组件
因此,Kafka集群通常由多个代理组成。Kafka Cluster使用Zookeeper来维护集群状态。单个Broker每秒可以处理数千次读写操作。 然而,如果没有性能影响,每个代理都可以处理TB消息。另外,要非常肯定ZooKeeper会执行经纪人领袖选举。

卡夫卡经纪人

经纪人在卡夫卡的工作

基本上,Kafka中的经纪人被建模为主持主题的KafkaServer。在这里,给定的主题总是在代理之间进行分区,在集群中,单个代理实际上托管一个或多个主题的主题分区,即使主题仅分区到单个分区也是如此。
了解Apache Kafka Consumer | Kafka Consumer的示例
此外,生产者在收到经纪人将其存储在由唯一偏移量键入的磁盘上后,向代理发送消息。此外,通过主题,分区和偏移,代理允许消费者获取消息。但是,代理可以通过使用Zookeeper直接或间接地相互共享信息来创建群集。此外,我们可以说Kafka集群只有一个代理作为控制器。通过使用kafka-server-start.sh脚本,我们可以启动一个Kafka经纪人。

3.如何启动Kafka Broker?

  • 启动Zookeeper。
  1. ./bin/zookeeper-server-start.sh config / zookeeper.properties

我们可以启动一个Kafka服务器,只有当Zookeeper启动并运行时(它将连接到Zookeeper)。

  1. ./bin/kafka-server-start.sh config / server.properties
  2. kafka-server-start.sh脚本

因此,kafka-server-start.sh 启动经纪人。

  1. $ ./bin/kafka-server-start.sh
  2. 用法:./ bin / kafka-server-start.sh [ -daemon ] server.properties [ --override property = value ] *

注意 -在运行kafka-server-start.sh 之前,请确保Zookeeper已启动并运行而且,使用zookeeper-server-start shell脚本。
看看Apache Kafka + Spark Streaming Integration
kafka-server-start.sh 使用config / log4j.properties来记录我们可以使用KAFKA_LOG4J_OPTS 环境变量覆盖的配置

  1. KAFKA_LOG4J_OPTS = “ - Dlog4j.configuration = file:config / log4j.properties”

kafka-server-start.sh 接受KAFKA_HEAP_OPTS和EXTRA_ARGS 环境变量。

4.卡夫卡命令行选项

-name 
在守护进程模式下默认为kafkaServer。
-loggc 
在守护进程模式下启用。
-daemon 
启用守护程序模式。
-override property = value 
应覆盖server.properties文件中为property设置的值的值。
让我们修改Apache Kafka Streams | 流处理拓扑

  1. $ ./bin/kafka-server-start.sh config / server.properties --override broker.id = 100
  2. ...
  3. 信息[ KafkaServer id = 100 ]已启动kafka.server.KafkaServer

5.结论

因此,我们已经学习了完整的Kafka Broker以及启动它的命令。但是,如果有任何疑问,请随时在评论部分询问。
另请参阅 -  
Kafka-序列化和反序列化以

猜你喜欢

转载自www.cnblogs.com/a00ium/p/10852405.html