Kafka 验证部署(单机版)kafka-producer-perf-test.sh 吞吐量测试工具的基本使用

1.测试topic创建与删除

(1)创建一个测试topic,名为test-topic。创建3个分区,每个分区分配1个副本(因为是单机kafka,如果是集群的话可以分配多个副本),如果分配的副本数大于broker的数量时,会报错
bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic test-topic 
--partitions 3 --replication-factor 1
 
(2)查看topic是否创建成功
bin/kafka-topics.sh --zookeeper localhost:2181 -list
 
(3)查看topic的详细分区信息
bin/kafka-topics.sh --zookeeper localhost:2181 --describe --topic test-topic
书中例子:
表示该topic下有3个分区,每个分区有3个副本。每个分区的leader分别是0、1、2,表明Kafka将该topic的这3个分区均匀地在3台broker上进行了分配。
 
(4)删除topic
bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test-topic
 

2.测试消息的生产与发送

  Kafka默认提供的kafka-console-producer和kafka-console-consumer脚本。可以方便地用来测试消息的发送和读取。发送消息时,用户从键盘输入消息,按回车键后即表示发送该条消息。需要打开两个终端测试,一个用于发送消息,另一个用于棘手消息
(1)打开生产端,用于发送消息
bin/kafka-console-producer.sh --broker-list node01:9092 --topic test-topic
(2)打开消费端,接受消息
bin/kafka-console-consumer.sh --bootstrap-server node01:9092 
--topic test-topic --from-beginning
 

3.生产者吞吐量测试

  Kafka提供了性能吞吐量测试脚本,分别是kafka-producer-perf-test脚本和kafka-consumer-perf-test.
kafka-producer-perf-test用于测试producer性能的脚本,该脚本可以计算出producer在一段时间内的吞吐量和平均延时
bin/kafka-producer-perf-test.sh --topic test-topic --num-records 500000 
--record-size 200 --throughput -1 --producer-props bootstrap.servers=node01:9092 acks=-1
书中例子:
可以看出Kafka producer的平均吞吐量是8MB/s,即占用64Mb/s左右的带宽,平均每秒能发送41963条消息,平均延时是2.36秒,最大延时是3.51秒,平均有50%的消息发送需要花费2.79秒,95%的消息发送需要花费3.14秒 等等。
参数的含义:
num-records:总共需要发送的消息数,本例为500000
record-size:每个记录的字节数,本例为200
throughput:每秒钟发送的记录数
 

4.消费者吞吐量测试

  和kafka-producer-perf-test脚本类似,Kafka为consumer也提供不给了方便
bin/kafka-consumer-perf-test.sh --broker-list node01:9092  --messages 500000 
--topic test-topic
 

猜你喜欢

转载自blog.csdn.net/qq_35260875/article/details/106084112