kafka e fila de mensagens

https://downloads.apache.org/kafka/3.5.1/kafka_2.13-3.5.1.tgzd
_

dependências kafka e zookeeper

arquivo de configuração kakka

broker.id=1    #每个 broker 在集群中的唯一标识，正整数。每个节点不一样
listeners=PLAINTEXT://192.168.74.70:9092 ##监听地址
num.network.threads=3  # 定义用于网络处理的线程数。
num.io.threads=8  #定义用于I/O操作的线程数。
socket.send.buffer.bytes=102400  #设置用于发送数据的套接字缓冲区大小。
socket.receive.buffer.bytes=102400  # 设置用于接收数据的套接字缓冲区大小。
socket.request.max.bytes=104857600 #指定单个请求的最大字节数。
log.dirs=/data/kafka #kakfa 用于保存数据的目录，所有的消息都会存储在该目录当中
num.partitions=3#设置创建新的 topic 默认分区数量，一般为集群的节点数
num.recovery.threads.per.data.dir=1  #
offsets.topic.replication.factor=1  #设置偏移量主题的复制因子为1。
transaction.state.log.replication.factor=1 #事务主题的复制因子（设置更高以确保可用性）。 内部主题创建将失败，直到群集大小满足此复制因素要求
transaction.state.log.min.isr=1#覆盖事务主题的min.insync.replicas配置
log.retention.hours=168#设置 kafka 中消息保留时间，
log.retention.check.interval.ms=300000
zookeeper.connect=192.168.74.70:2181,192.168.74.71:2181,192.168.74.72:2181 #设置Zookeeper服务器的连接地址。
zookeeper.connection.timeout.ms=18000  #设置与Zookeeper建立连接的超时时间。
group.initial.rebalance.delay.ms=0 #设置初始重新平衡延迟的毫秒数。

Inicie
/apps/kafka_2.13-3.5.1/bin/kafka-server-start.sh -daemon /apps/kafka_2.13-3.5.1/config/server.properties

Verifique a porta
netstat -antp|grep 2181

Criar tópico

/apps/kafka_2.13-3.5.1/bin/kafka-topics.sh --create --topic magedu --bootstrap-server 192.168.74.70:9092 --partitions 3 --replication-factor 2

查看topic
root@ubuntu20:~# /apps/kafka_2.13-3.5.1/bin/kafka-topics.sh --bootstrap-server 192.168.74.70:9092 --list
magedu

Pare o kafka
/apps/kafka_2.13-3.5.1/bin/kafka-server-stop.sh

Verifique
a descrição do status do tópico: Existem três partições, ou seja, 0, 1 e
2. PartitionCount: 3 representa 3 fragmentos.
ReplicationFactor: 2 representa 2 réplicas.
O líder da partição 0 é 1.

Réplicas: representa o brokerid armazenado na réplica
Isr: 1,3 representa a pessoa viva é 1,3

root@ubuntu20:~# /apps/kafka_2.13-3.5.1/bin/kafka-topics.sh  --describe   --bootstrap-server  192.168.74.70:9092
    Topic: magedu	TopicId: H4nV6WulTU-y_S4J2pHfOA	PartitionCount: 3	ReplicationFactor: 2	Configs: 
	Topic: magedu	Partition: 0	Leader: 1	Replicas: 1,3	Isr: 1,3
	Topic: magedu	Partition: 1	Leader: 1	Replicas: 2,1	Isr: 1
	Topic: magedu	Partition: 2	Leader: 3	Replicas: 3,2	Isr: 3

Não há 2 no Isr acima. Você pode saber que está faltando o nó 2. Verifique e descubra que o kafka do nó 2 não foi iniciado. É
normal após a inicialização.

Topic: magedu	TopicId: H4nV6WulTU-y_S4J2pHfOA	PartitionCount: 3	ReplicationFactor: 2	Configs: 
	Topic: magedu	Partition: 0	Leader: 1	Replicas: 1,3	Isr: 1,3
	Topic: magedu	Partition: 1	Leader: 1	Replicas: 2,1	Isr: 1,2
	Topic: magedu	Partition: 2	Leader: 3	Replicas: 3,2	Isr: 3,2

Especifique o tópico para visualizar
/apps/kafka_2.13-3.5.1/bin/kafka-topics.sh --describe --bootstrap-server 192.168.74.70:9092 --topic luo

root@ubuntu20:~#ll /data/kafka/

Dados de produção
/apps/kafka_2.13-3.5.1/bin/kafka-console-producer.sh --broker-list 192.168.74.71:9092,192.168.74.70:9092 --topic magedu

Dados de consumo
/apps/kafka_2.13-3.5.1/bin/kafka-console-consumer.sh --topic magedu --bootstrap-server 192.168.74.71:9092,192.168.74.70:9092 --from-beginning
--from - começando a consumir desde o início

Visualizar dados por meio de software
Criar conexão

Adicionar configuração de endereço kafka

Mudar para tipo string

Pode visualizar dados

Resumir

Uma mensagem é consumida uma vez.
Uma mensagem é consumida várias vezes -> Sincronização e distribuição de dados.
Na maioria das vezes, geralmente é consumida uma vez.

Kafka geralmente é executado em um cluster para obter
tópico (tópico) de alta disponibilidade: agrupar e salvar registros logicamente (registros e logs)

Partição Kafka: Para obter alta disponibilidade de dados, por exemplo, os dados da partição 0 são distribuídos para diferentes nós kafka.Cada partição tem um corretor como líder e um corretor como seguidor.

Leitura
e gravação sequencial Leitura sequencial

Monitor: verifique
se o
URL curl da porta é 200

ativomq

A porta é a mesma do RabbitMQ.
Instale
o wget https://mirrors.tuna.tsinghua.edu.cn/apache/activemq/5.18.2/apache-activemq-5.18.2-bin.tar.gz
cp apache-activemq- 5.18.2- bin.tar.gz /apps/
cd /apps/
tar -xf apache-activemq-5.18.2-bin.tar.gz
ln -s apache-activemq-5.18.2 activemq
vi activemq.xml #Não há necessidade para modificar
o cd...
./bin/linux-x86-64/activemq start #Start

netstat -antp|grep 8161 Modifique o endereço para 0.0.0.0
/usr/local/activemq/conf# vi jetty.xml

e visite
http://120.77.146.92:8161/admin/