Configuración de Kafka 5: configure el clúster de Kafka + SASL + SSL en Windows

De acuerdo con los primeros 4 artículos, podemos construir el entorno Kafka desde cero, incluida la configuración de clústeres, SASL y certificados SSL. Este artículo no explica en detalle. Para obtener instrucciones detalladas, consulte los siguientes 4 artículos. Este artículo es principalmente Muestre esta configuración completa a todos de la manera más simple de explicación.

El proceso de configuración completo es el siguiente

1. Zookeeper
1.1, modificar la configuración de zoo.cfg

authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider
requireClientAuthScheme=sasl
jaasLoginRenew=3600000

# 存放数据
dataDir=D:/Net_Program/Net_Zookeeper/data-file
# 存放日志
dataLogDir=D:/Net_Program/Net_Zookeeper/data-log
# 监听端口
clientPort=2181
# 配置集群服务
server.1=192.168.2.200:2881:3881
server.2=192.168.2.200:2882:3882
server.3=192.168.2.200:2883:3883

Lo anterior es la configuración para una máquina, si es la segunda, tercera ..., modifique los tres parámetros dataDir, dataLogDir, clientPort a su vez .

   1.2, crear el archivo myid
       en D: \ Net_Program \ Net_Zookeeper \ data -FILE en un nuevo nombre para los MyID archivos (sin extensión), el contenido es 1
       en D: \ Net_Program \ Net_Zookeeper2 \ data -FILE en un nuevo nombre para el myid archivo ( Sin sufijo), el contenido es 2
       Cree un nuevo archivo llamado myid en D: \ Net_Program \ Net_Zookeeper3 \ data-file (sin sufijo), el contenido es 3

Si hay más configuraciones de Zookeeper, créalas una por una de acuerdo con las reglas anteriores.

1.3. Cree un nuevo zk_server_jaas.conf
en la carpeta D: \ Net_Program \ Net_KafkaConfig (utilizada para almacenar los archivos de configuración de cuenta y contraseña de Zookeeper y Kafka) para crear un nuevo archivo zk_server_jaas.conf, el contenido es el siguiente:

KafkaServer {
	org.apache.kafka.common.security.plain.PlainLoginModule required
	username="admin"
	password="admin123456"
	user_admin="admin123456"
	user_quber="quber123456"
	user_quber1="quber123456"
	user_quber2="quber123456"
	user_scyjTestUser1="scyj&cdkx"
	user_scyjTestUser2="scyj&cdkx"
	user_scyjTestUser3="scyj&cdkx";
};

1.4. Modifique zkEnv.cmd
en el directorio de instalación de Zookeeper bin, abra zkEnv.cmd para editarlo, en el archivo set ZOO_LOG4J_PROP = INFO, agregue la siguiente configuración a la siguiente línea de CONSOLE:

set SERVER_JVMFLAGS=-Djava.security.auth.login.config=D:/Net_Program/Net_KafkaConfig/zk_server_jaas.conf

Del mismo modo, si hay un segundo, tercero ..., debe modificar la configuración anterior

   1.5. Importe los            archivos            jar relevantes
       . Busque los siguientes archivos jar en el directorio de instalación de Kafka libs respectivamente, cópielos en el lib del directorio de instalación de Zookeeper en
kafka-clients-2.4.0.jar
lz4-java-1.6.0.jar
           slf4j-api-1.7 .28.jar
           slf4j-log4j12-1.7.28.jar
           snappy-java-1.1.7.3.jar

2. Kafka
2.1, modificar la configuración de server.properties

# kafka消息存放的路径
log.dirs=D:/Net_Program/Net_Kafka/kafka-data

listeners=SASL_SSL://192.168.2.200:9092
advertised.listeners=SASL_SSL://192.168.2.200:9092
# 使用的认证协议
security.inter.broker.protocol=SASL_SSL
# SASL机制
sasl.enabled.mechanisms=PLAIN
sasl.mechanism.inter.broker.protocol=PLAIN
# 完成身份验证的类
authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer
# 如果没有找到ACL（访问控制列表）配置，则允许任何操作。
#allow.everyone.if.no.acl.found=true
super.users=User:admin

# 唯一标识
broker.id=0
host.name=192.168.2.200
# 监听端口
port=9092
# 对应着3台Zookeeper的IP地址和端口
zookeeper.connect=192.168.2.200:2181,192.168.2.200:2182,192.168.2.200:2183

ssl.keystore.location=D:/Net_Program/Net_KafkaSsl/kafka1.keystore.jks
ssl.keystore.password=qubernet
ssl.key.password=qubernet
ssl.truststore.location=D:/Net_Program/Net_KafkaSsl/ca.truststore.jks
ssl.truststore.password=qubernet
ssl.keystore.type=JKS
ssl.truststore.type=JKS
ssl.client.auth=required
ssl.secure.random.implementation=SHA1PRNG
security.inter.broker.protocol=SASL_SSL

Lo anterior es la configuración para una máquina, si es la segunda, la tercera ..., modifique los cinco parámetros log.dirs, listeners, advertised.listeners, broker.id, port a su vez.

2.2. Cree un nuevo kafka_server_jaas.conf
en la carpeta D: \ Net_Program \ Net_KafkaConfig (usada para almacenar los archivos de configuración de cuenta y contraseña de Zookeeper y Kafka) para crear un nuevo archivo kafka_server_jaas.conf, el contenido es el siguiente:

KafkaServer {
	org.apache.kafka.common.security.plain.PlainLoginModule required
	username="admin"
	password="admin123456"
	user_admin="admin123456"
	user_quber="quber123456"
	user_quber1="quber123456"
	user_quber2="quber123456"
	user_scyjTestUser1="scyj&cdkx"
	user_scyjTestUser2="scyj&cdkx"
	user_scyjTestUser3="scyj&cdkx";
};

2.3. Modifique kafka-server-start.bat
en el directorio de instalación de Kafka bin \ windows, abra kafka-server-start.bat para editarlo y agregue la siguiente configuración a la siguiente línea de la palabra clave SetLocal en el archivo:

set KAFKA_OPTS=-Djava.security.auth.login.config=D:/Net_Program/Net_KafkaConfig/kafka_server_jaas.conf

Del mismo modo, si hay un segundo, tercero ..., debe modificar la configuración anterior

Configuración de Kafka 5: configure el clúster de Kafka + SASL + SSL en Windows

Supongo que te gusta