https://downloads.apache.org/kafka/3.5.1/kafka_2.13-3.5.1.tgzd
_
dépendances kafka et gardien de zoo
fichier de configuration kakka
broker.id=1 #每个 broker 在集群中的唯一标识，正整数。每个节点不一样
listeners=PLAINTEXT://192.168.74.70:9092 ##监听地址
num.network.threads=3 # 定义用于网络处理的线程数。
num.io.threads=8 #定义用于I/O操作的线程数。
socket.send.buffer.bytes=102400 #设置用于发送数据的套接字缓冲区大小。
socket.receive.buffer.bytes=102400 # 设置用于接收数据的套接字缓冲区大小。
socket.request.max.bytes=104857600 #指定单个请求的最大字节数。
log.dirs=/data/kafka #kakfa 用于保存数据的目录，所有的消息都会存储在该目录当中
num.partitions=3#设置创建新的 topic 默认分区数量，一般为集群的节点数
num.recovery.threads.per.data.dir=1 #
offsets.topic.replication.factor=1 #设置偏移量主题的复制因子为1。
transaction.state.log.replication.factor=1 #事务主题的复制因子（设置更高以确保可用性）。 内部主题创建将失败，直到群集大小满足此复制因素要求
transaction.state.log.min.isr=1#覆盖事务主题的min.insync.replicas配置
log.retention.hours=168#设置 kafka 中消息保留时间，
log.retention.check.interval.ms=300000
zookeeper.connect=192.168.74.70:2181,192.168.74.71:2181,192.168.74.72:2181 #设置Zookeeper服务器的连接地址。
zookeeper.connection.timeout.ms=18000 #设置与Zookeeper建立连接的超时时间。
group.initial.rebalance.delay.ms=0 #设置初始重新平衡延迟的毫秒数。
Démarrer
/apps/kafka_2.13-3.5.1/bin/kafka-server-start.sh -daemon /apps/kafka_2.13-3.5.1/config/server.properties
Vérifiez le port
netstat -antp|grep 2181
Créer un sujet
/apps/kafka_2.13-3.5.1/bin/kafka-topics.sh --create --topic magedu --bootstrap-server 192.168.74.70:9092 --partitions 3 --replication-factor 2
Sujet
root@ubuntu20:~# /apps/kafka_2.13-3.5.1/bin/kafka-topics.sh --bootstrap-server 192.168.74.70:9092 --list
magedu
Arrêtez kafka
/apps/kafka_2.13-3.5.1/bin/kafka-server-stop.sh
Vérifiez
la description de l'état de la rubrique : Il existe trois partitions, à savoir 0, 1 et
2. PartitionCount : 3 représente 3 partitions.
ReplicationFactor : 2 représente 2 réplicas.
Le leader de la partition 0 est 1.
Répliques : représente le Brokerid stocké dans la réplique
Isr : 1,3 représente la personne vivante est 1,3
root@ubuntu20:~# /apps/kafka_2.13-3.5.1/bin/kafka-topics.sh --describe --bootstrap-server 192.168.74.70:9092
Topic: magedu TopicId: H4nV6WulTU-y_S4J2pHfOA PartitionCount: 3 ReplicationFactor: 2 Configs:
Topic: magedu Partition: 0 Leader: 1 Replicas: 1,3 Isr: 1,3
Topic: magedu Partition: 1 Leader: 1 Replicas: 2,1 Isr: 1
Topic: magedu Partition: 2 Leader: 3 Replicas: 3,2 Isr: 3
Il n'y a pas de 2 dans l'Isr ci-dessus. Vous pouvez savoir que le nœud 2 est manquant. Vérifiez et trouvez que le kafka du nœud 2 n'a pas été démarré. C'est
normal après le démarrage.
Topic: magedu TopicId: H4nV6WulTU-y_S4J2pHfOA PartitionCount: 3 ReplicationFactor: 2 Configs:
Topic: magedu Partition: 0 Leader: 1 Replicas: 1,3 Isr: 1,3
Topic: magedu Partition: 1 Leader: 1 Replicas: 2,1 Isr: 1,2
Topic: magedu Partition: 2 Leader: 3 Replicas: 3,2 Isr: 3,2
Spécifiez le sujet à afficher
/apps/kafka_2.13-3.5.1/bin/kafka-topics.sh --describe --bootstrap-server 192.168.74.70:9092 --topic luo
root@ubuntu20:~#ll /data/kafka/
Données de production
/apps/kafka_2.13-3.5.1/bin/kafka-console-producer.sh --broker-list 192.168.74.71:9092,192.168.74.70:9092 --topic magedu
Données de consommation
/apps/kafka_2.13-3.5.1/bin/kafka-console-consumer.sh --topic magedu --bootstrap-server 192.168.74.71:9092,192.168.74.70:9092 --from-beginning
--from - recommencer la consommation à partir de zéro
Afficher les données via un logiciel
Créer une connexion
Ajouter la configuration de l'adresse Kafka
Passer au type de chaîne
Peut afficher les données
Résumer
Un message est consommé une fois.
Un message est consommé plusieurs fois -> Synchronisation et distribution des données.
La plupart du temps, il est généralement consommé une fois.
Kafka s'exécute généralement dans un cluster pour atteindre une haute disponibilité
(sujet) : regrouper et enregistrer logiquement les enregistrements (enregistrements et journaux)
Partition Kafka : afin d'obtenir une haute disponibilité des données, par exemple, les données de la partition 0 sont distribuées à différents nœuds Kafka. Chaque partition a un courtier en tant que leader et un courtier en tant que suiveur.
Lecture
et écriture séquentielles Lecture séquentielle
Moniteur : vérifiez
si l'
URL du port curl est 200
actifmq
Le port est le même que RabbitMQ.
Installez
wget https://mirrors.tuna.tsinghua.edu.cn/apache/activemq/5.18.2/apache-activemq-5.18.2-bin.tar.gz
cp apache-activemq- 5.18.2- bin.tar.gz /apps/
cd /apps/
tar -xf apache-activemq-5.18.2-bin.tar.gz
ln -s apache-activemq-5.18.2 activemq
vi activemq.xml #Pas besoin pour modifier
le cd...
./ bin/linux-x86-64/activemq start #Start
netstat -antp|grep 8161 Modifiez l'adresse en 0.0.0.0
/usr/local/activemq/conf# vi jetty.xml
et visitez
http://120.77.146.92:8161/admin/
