Cálculo del número de máquinas Kafka.

Número de máquinas Kafka
(经验公式)= 2 *(峰值生产速度 * 副本数 / 100)+ 1

Primero obtenga la velocidad máxima de producción y luego, de acuerdo con la cantidad establecida de réplicas, puede estimar la cantidad de Kafka que debe implementarse.

1) Velocidad máxima de producción

Las tasas máximas de producción se pueden medir por presión.

用Kafka官方自带的脚本,对Kafka进行压测。
kafka-consumer-perf-test.sh
kafka-producer-perf-test.sh
Kafka压测时,在硬盘读写速度一定的情况下,可以查看到哪些地方出现了瓶颈(CPU,内存,网络IO)。
一般都是网络IO达到瓶颈。 

2) Número de copias

El número de copias es 1 por defecto, y hay 2-3 copias en la empresa, con 2 en la mayoría.
Más réplicas pueden mejorar la confiabilidad, pero reducen la eficiencia de transmisión de la red.

Por ejemplo, nuestra velocidad máxima de producción es de 50 M/s. El número de copias es 2.
Número de máquinas Kafka = 2 * (50 * 2 / 100) + 1 = 3

Supongo que te gusta

Origin blog.csdn.net/frdevolcqzyxynjds/article/details/123532139
Recomendado
Clasificación