kafka y cola de mensajes

https://downloads.apache.org/kafka/3.5.1/kafka_2.13-3.5.1.tgz
d

dependencias de kafka y cuidador del zoológico

archivo de configuración kakka

broker.id=1    #每个 broker 在集群中的唯一标识，正整数。每个节点不一样
listeners=PLAINTEXT://192.168.74.70:9092 ##监听地址
num.network.threads=3  # 定义用于网络处理的线程数。
num.io.threads=8  #定义用于I/O操作的线程数。
socket.send.buffer.bytes=102400  #设置用于发送数据的套接字缓冲区大小。
socket.receive.buffer.bytes=102400  # 设置用于接收数据的套接字缓冲区大小。
socket.request.max.bytes=104857600 #指定单个请求的最大字节数。
log.dirs=/data/kafka #kakfa 用于保存数据的目录，所有的消息都会存储在该目录当中
num.partitions=3#设置创建新的 topic 默认分区数量，一般为集群的节点数
num.recovery.threads.per.data.dir=1  #
offsets.topic.replication.factor=1  #设置偏移量主题的复制因子为1。
transaction.state.log.replication.factor=1 #事务主题的复制因子（设置更高以确保可用性）。 内部主题创建将失败，直到群集大小满足此复制因素要求
transaction.state.log.min.isr=1#覆盖事务主题的min.insync.replicas配置
log.retention.hours=168#设置 kafka 中消息保留时间，
log.retention.check.interval.ms=300000
zookeeper.connect=192.168.74.70:2181,192.168.74.71:2181,192.168.74.72:2181 #设置Zookeeper服务器的连接地址。
zookeeper.connection.timeout.ms=18000  #设置与Zookeeper建立连接的超时时间。
group.initial.rebalance.delay.ms=0 #设置初始重新平衡延迟的毫秒数。

Inicie
/apps/kafka_2.13-3.5.1/bin/kafka-server-start.sh -daemon /apps/kafka_2.13-3.5.1/config/server.properties

Verifique el puerto
netstat -antp|grep 2181

Crear tema

/apps/kafka_2.13-3.5.1/bin/kafka-topics.sh --create --topic magedu --bootstrap-server 192.168.74.70:9092 --particiones 3 --factor de replicación 2

查看topic
root@ubuntu20:~# /apps/kafka_2.13-3.5.1/bin/kafka-topics.sh --bootstrap-server 192.168.74.70:9092 --list
magedu

Detener Kafka
/apps/kafka_2.13-3.5.1/bin/kafka-server-stop.sh

Verifique
la descripción del estado del tema: hay tres particiones, a saber, 0, 1 y
2. PartitionCount: 3 representa 3 fragmentos.
ReplicationFactor: 2 representa 2 réplicas.
El líder de la partición 0 es 1.

Réplicas: representa el brokerid almacenado en la réplica
Isr: 1,3 representa la persona viva es 1,3

root@ubuntu20:~# /apps/kafka_2.13-3.5.1/bin/kafka-topics.sh  --describe   --bootstrap-server  192.168.74.70:9092
    Topic: magedu	TopicId: H4nV6WulTU-y_S4J2pHfOA	PartitionCount: 3	ReplicationFactor: 2	Configs: 
	Topic: magedu	Partition: 0	Leader: 1	Replicas: 1,3	Isr: 1,3
	Topic: magedu	Partition: 1	Leader: 1	Replicas: 2,1	Isr: 1
	Topic: magedu	Partition: 2	Leader: 3	Replicas: 3,2	Isr: 3

No hay 2 en el Isr anterior. Puede saber que falta el nodo 2. Verifique y descubra que Kafka del nodo 2 no se ha iniciado. Es
normal después del inicio.

Topic: magedu	TopicId: H4nV6WulTU-y_S4J2pHfOA	PartitionCount: 3	ReplicationFactor: 2	Configs: 
	Topic: magedu	Partition: 0	Leader: 1	Replicas: 1,3	Isr: 1,3
	Topic: magedu	Partition: 1	Leader: 1	Replicas: 2,1	Isr: 1,2
	Topic: magedu	Partition: 2	Leader: 3	Replicas: 3,2	Isr: 3,2

Especifique el tema para ver
/apps/kafka_2.13-3.5.1/bin/kafka-topics.sh --describe --bootstrap-server 192.168.74.70:9092 --topic luo

raíz@ubuntu20:~#ll /data/kafka/

Datos de producción
/apps/kafka_2.13-3.5.1/bin/kafka-console-producer.sh --broker-list 192.168.74.71:9092,192.168.74.70:9092 --topic magedu

Datos de consumo
/apps/kafka_2.13-3.5.1/bin/kafka-console-consumer.sh --topic magedu --bootstrap-server 192.168.74.71:9092,192.168.74.70:9092 --desde el principio
--desde - comenzar a consumir desde el principio

Ver datos a través del software
Crear conexión

Agregar configuración de dirección Kafka

Cambiar al tipo de cadena

Puede ver datos

Resumir

Un mensaje se consume una vez.
Un mensaje se consume varias veces -> Sincronización y distribución de datos.
La mayoría de las veces, suele consumirse una vez.

Kafka generalmente se ejecuta en un clúster para lograr
un tema de alta disponibilidad (tema): agrupa y guarda lógicamente registros (registros y registros)

Partición Kafka: para lograr una alta disponibilidad de datos, por ejemplo, los datos de la partición 0 se distribuyen a diferentes nodos Kafka. Cada partición tiene un corredor como líder y un corredor como seguidor.

Lectura
y escritura secuencial Lectura secuencial

Monitor: compruebe
si la
URL del puerto curl es 200

activomq

El puerto es el mismo que el de Rabbitmq.
Instale
wget https://mirrors.tuna.tsinghua.edu.cn/apache/activemq/5.18.2/apache-activemq-5.18.2-bin.tar.gz
cp apache-activemq- 5.18.2- bin.tar.gz /apps/
cd /apps/
tar -xf apache-activemq-5.18.2-bin.tar.gz
ln -s apache-activemq-5.18.2 activemq
vi activemq.xml #No es necesario para modificar
cd...
./ bin/linux-x86-64/activemq start #Inicio

netstat -antp|grep 8161 Modifique la dirección a 0.0.0.0
/usr/local/activemq/conf# vi jetty.xml

y visite
http://120.77.146.92:8161/admin/