kafka吞吐量测试

除了基本的console-producer和console-consumer脚本可以用于简单测试消息的发送和接收外,kafka还提供了性能吞吐量测试脚本,它们分别是kafka-producer-perf-test.sh和kafka-consumer-perf-test.sh脚本。

topic的分区是为了实现负载均衡,提高读写的并发度;副本是为了高可用,容载。

一、生产者吞吐量

kafka-producer-perf-test.sh是用于测试生产者吞吐量的,具体命令入下

bin/kafka-producer-perf-test.sh  --topic test_topic --num-records 500000 --record-size 200 --throughput -1 --producer-props  bootstrap.servers=localhost:9092,localhost:9093,localhost:9094 acks=1

运行结果:

   以上结果说明在这台机器上运行一个kafka producer的吞吐量是3mb/s,即占用带宽是24mb/s,平均每秒发送的17411条数据,平均延时是4.582秒,最大延时是8.337秒,平均有50%的消息发送需要4.305秒,95%需要6.864秒,99%需要7.385秒,99.9需要 8.301秒。

二、消费在吞吐量

kafka-consumer-perf-test.sh是用于测试消费者吞吐量的,具体命令入下

bin/kafka-consumer-perf-test.sh --broker-list localhost:9092,localhost:9093,localhost:9094 --fetch-size 200 --messages 500000 --topic test_topic

运行结果:

  以上是测试消费50万条信息的consumer吞吐量,结果表明,在改环境中consumer在11秒多时间内总共消费了95M的消息,因此吞吐量是8M/s,即占用带宽是64M/s。

猜你喜欢

转载自www.cnblogs.com/cq-yangzhou/p/11464838.html