Tutoriel Kafka de déploiement super détaillé du système Centos7

Le déploiement de Kafka est une tâche complexe impliquant plusieurs étapes et configurations. Ce qui suit est un tutoriel très détaillé sur le déploiement de Kafka sur le système CentOS 7 :

1. Assurez-vous que l'environnement système :

   • Assurez-vous que le système CentOS 7 a été installé et configuré avec des privilèges d'administrateur.

   • Assurez-vous que l'environnement Java est installé, vous pouvez utiliser la commande suivante pour vérifier la version Java :

     java -version

2. Téléchargez et décompressez Kafka :

   • Pour ouvrir le terminal, vous pouvez utiliser les touches de raccourci Ctrl+Alt+T.

   • Entrez le répertoire dans lequel vous souhaitez installer Kafka, par exemple :

     cd /opt

   • Téléchargez le package compressé binaire Kafka :

     sudo curl -LO https://downloads.apache.org/kafka/<kafka-version>/kafka_<scala-version>-<kafka-version>.tgz

     sera  <kafka-version>remplacé par la version de Kafka que vous souhaitez télécharger, sera  <scala-version>remplacé par la version de Scala, par exemple  2.13.

   • Extrayez le fichier téléchargé :

     sudo tar xvf kafka_<scala-version>-<kafka-version>.tgz

   • Entrez dans le répertoire décompressé :

     cd kafka_<scala-version>-<kafka-version>

3. Configurez le gardien du zoo :

   • Kafka s'appuie sur Zookeeper pour gérer les métadonnées du cluster.

   • Créez un nouveau fichier de configuration Zookeeper dans le répertoire de configuration de Kafka :

     sudo cp config/zookeeper.properties config/zookeeper.properties.bak
     sudo nano config/zookeeper.properties

   • Dans le fichier de configuration, configurez les éléments suivants en fonction de vos besoins :

     dataDir=/tmp/zookeeper  # Zookeeper数据存储目录
     clientPort=2181        # Zookeeper客户端连接端口

4. Déploiement Kafka :

   • Créez un nouveau fichier de configuration Kafka dans le répertoire de configuration Kafka :

     sudo cp config/server.properties config/server.properties.bak
     sudo nano config/server.properties

   • Dans le fichier de configuration, configurez les éléments suivants en fonction de vos besoins :

     broker.id=0                      # Kafka节点ID
     listeners=PLAINTEXT://:9092      # 监听地址和端口
     log.dirs=/tmp/kafka-logs         # Kafka日志存储目录

5. Démarrer Zookeeper :

   • Ouvrez une fenêtre de terminal et accédez au répertoire Kafka.

   • Démarrez le serveur Zookeeper :

     bin/zookeeper-server-start.sh config/zookeeper.properties

6. Démarrez le nœud Kafka :

   • Ouvrez une autre fenêtre de terminal et accédez au répertoire Kafka.

   • Démarrez le serveur de nœud Kafka :

     bin/kafka-server-start.sh config/server.properties

7. Créer un sujet :

   • Ouvrez une autre fenêtre de terminal et accédez au répertoire Kafka.

   • Créer un nouveau sujet :

     bin/kafka-topics.sh --create --topic <topic-name> --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1

     Remplacez  <topic-name>par le nom du sujet que vous souhaitez créer.

8. Publiez et abonnez-vous aux messages :

   • Ouvrez une fenêtre de terminal et entrez dans le répertoire Kafka.

   • Publier un message dans un sujet :

     bin/kafka-console-producer.sh --topic <topic-name> --bootstrap-server localhost:9092

   • Dans une autre fenêtre de terminal, abonnez-vous aux messages du sujet :

     bin/kafka-console-consumer.sh --topic <topic-name> --bootstrap-server localhost:9092 --from-beginning

Il s'agit d'un didacticiel Kafka de déploiement du système CentOS 7 de base. Selon vos besoins, d'autres étapes de configuration et de réglage peuvent être effectuées, telles que la configuration du cluster, les paramètres de sécurité, le réglage des performances, etc. Il est recommandé de se référer à la documentation officielle de Kafka pour des directives et une documentation plus détaillées.