Kafka_2.12-3.1.0クラスタ環境構築

1. 環境説明

---

現在のKafkaバージョンでは、クラスター、ブローカー、コンシューマー、およびその他の関連メタ情報を保存するには、Zookeeper を使用する必要があります。Zookeeper は、現在のバージョン (バージョン 2_12_3.1.0) に組み込まれています。組み込みの Zookeeper を使用することを選択した故针对zookeeper环境有两种場合、 Kafka インストール ディレクトリの設定を変更する必要があります。ディレクトリ内の Zookeeper.properties ファイルには、Zookeeper クラスターが事前にインストールされている必要があります。
1. 使用内置的zookeeper

2. 使用外部的zookeeper

在本案例中，我们采用了外部的zookeeperつまり、3 ノード クラスターの Zookeeper 環境が構築され、Kafka2_12_3.1.0 バージョンのメタデータ リポジトリとして使用されました。

1. Zookeeper の環境構成は次のとおりです。

ノード	インストールパス	データディレクトリパス
ハドゥープ002	/トレーニング/動物園飼育員-3.4.5	/トレーニング/zookeeper-3.4.5/tmp
ハドゥープ003	/トレーニング/動物園飼育員-3.4.5	/トレーニング/zookeeper-3.4.5/tmp
ハドゥープ004	/トレーニング/動物園飼育員-3.4.5	/トレーニング/zookeeper-3.4.5/tmp

2. Kafka の環境構成は次のとおりです。

ノード	インストールパス	ログパス
ハドゥープ002	/トレーニング/kafka-cluster/	/トレーニング/kafka-cluster/kafka-logs/
ハドゥープ003	/トレーニング/kafka-cluster/	/トレーニング/kafka-cluster/kafka-logs/
ハドゥープ004	/トレーニング/kafka-cluster/	/トレーニング/kafka-cluster/kafka-logs/

2. インストール手順

---

1. Kafka インストール パッケージをアップロードし、解凍してインストールします

   tar -zvxf kafka_2.12-3.1.0.tgz -C /training
   
        
        
         
         
   
        
        
         
         
   

2. ファイルを変更するにはserver.properties、次の項目を変更するだけです。

   broker.id=0
   log.dirs=/training/kafka-cluster/kafka-logs
   zookeeper.connect=hadoop002:2181,hadoop003:2181,hadoop004:2181
   group.initial.rebalance.delay.ms=3
   
        
        
         
         
   
        
        
         
         
   

   其他配置默认即可

3. Kafka インストール ディレクトリ全体を他のノードに配布します。

    scp -r /training/kafka-cluster root@hadoop003:/training/
    scp -r /training/kafka-cluster root@hadoop004:/training/
   
        
        
         
         
   
        
        
         
         
   

4. 他の 2 つのノードに移動し、サーバーのプロパティbroker.idを:に変更します1和2。
   注:broker.id 不得重复

5. Kafka クラスターを開始する

   1. まず、Zookeeper クラスターを開始します (自分で開始します)。
   2. hadoop002、hadoop003、hadoop004 で Kafka クラスターを順番に起動し、次のコマンドを実行します。

      kafka-server-start.sh server.properties &
      
             
             
              
              
      
             
             
              
              
      

      注意：该命令是相对路径下执行且以后台进程方式启动Kafka
   3. 検証: jps3 つのノードでコマンドを実行すると、プロセス名が次であることがわかります。Kafka

1. 環境説明

---

現在のKafkaバージョンでは、クラスター、ブローカー、コンシューマー、およびその他の関連メタ情報を保存するには、Zookeeper を使用する必要があります。Zookeeper は、現在のバージョン (バージョン 2_12_3.1.0) に組み込まれています。組み込みの Zookeeper を使用することを選択した故针对zookeeper环境有两种場合、 Kafka インストール ディレクトリの設定を変更する必要があります。ディレクトリ内の Zookeeper.properties ファイルには、Zookeeper クラスターが事前にインストールされている必要があります。
1. 使用内置的zookeeper

2. 使用外部的zookeeper

在本案例中，我们采用了外部的zookeeperつまり、3 ノード クラスターの Zookeeper 環境が構築され、Kafka2_12_3.1.0 バージョンのメタデータ リポジトリとして使用されました。

1. Zookeeper の環境構成は次のとおりです。

ノード	インストールパス	データディレクトリパス
ハドゥープ002	/トレーニング/動物園飼育員-3.4.5	/トレーニング/zookeeper-3.4.5/tmp
ハドゥープ003	/トレーニング/動物園飼育員-3.4.5	/トレーニング/zookeeper-3.4.5/tmp
ハドゥープ004	/トレーニング/動物園飼育員-3.4.5	/トレーニング/zookeeper-3.4.5/tmp

2. Kafka の環境構成は次のとおりです。

ノード	インストールパス	ログパス
ハドゥープ002	/トレーニング/kafka-cluster/	/トレーニング/kafka-cluster/kafka-logs/
ハドゥープ003	/トレーニング/kafka-cluster/	/トレーニング/kafka-cluster/kafka-logs/
ハドゥープ004	/トレーニング/kafka-cluster/	/トレーニング/kafka-cluster/kafka-logs/

2. インストール手順

---

1. Kafka インストール パッケージをアップロードし、解凍してインストールします

   tar -zvxf kafka_2.12-3.1.0.tgz -C /training
   
        
        
       
       
   
        
        
       
       
   

2. ファイルを変更するにはserver.properties、次の項目を変更するだけです。

   broker.id=0
   log.dirs=/training/kafka-cluster/kafka-logs
   zookeeper.connect=hadoop002:2181,hadoop003:2181,hadoop004:2181
   group.initial.rebalance.delay.ms=3
   
        
        
       
       
   
        
        
       
       
   

   其他配置默认即可

3. Kafka インストール ディレクトリ全体を他のノードに配布します。

    scp -r /training/kafka-cluster root@hadoop003:/training/
    scp -r /training/kafka-cluster root@hadoop004:/training/
   
        
        
       
       
   
        
        
       
       
   

4. 他の 2 つのノードに移動し、サーバーのプロパティbroker.idを:に変更します1和2。
   注:broker.id 不得重复

5. Kafka クラスターを開始する

   1. まず、Zookeeper クラスターを開始します (自分で開始します)。
   2. hadoop002、hadoop003、hadoop004 で Kafka クラスターを順番に起動し、次のコマンドを実行します。

      kafka-server-start.sh server.properties &
      
             
             
            
            
      
             
             
            
            
      

      注意：该命令是相对路径下执行且以后台进程方式启动Kafka
   3. 検証: jps3 つのノードでコマンドを実行すると、プロセス名が次であることがわかります。Kafka