Kafkaのインストールと基本操作

1. 前提となる作業

---

Zookeeper をインストールする必要があります

• 単一マシンについては、「ZooKeeper 単一マシンのインストールと構成」を参照してください。
  
• クラスター情報については、「Zookeeper クラスターのインストール」を参照してください。

2.Kafkaのインストール

---

1. kafka_2.11-2.3.1.tgz を /tools ディレクトリにアップロードします
2. 解凍して /training ディレクトリにインストールします

   tar -zvxf kafka_2.11-2.3.1.tgz -C /training/
   
        
        
         
         
   
        
        
         
         
   

3. 環境変数を構成して有効にします。コマンド
   を実行しvi ~/.bash_profile、次の情報を追加して保存して終了します。

   #kafka
   export KAFKA_HOME=/training/kafka_2.11-2.3.1
   export PATH=$PATH:$KAFKA_HOME/bin
   
        
        
         
         
   
        
        
         
         
   

4. 環境変数、効果的な実行:source ~/.bash_profile
5. kafka を保存するためのログ ディレクトリを作成します (kafka インストール パスに作成されます)。

   mkdir /training/kafka_2.11-2.3.1/kafka-logs
   
        
        
         
         
   
        
        
         
         
   

6. server.properties を設定し (ファイルは kafka インストール パスの config ディレクトリにあります)
   、vi server.properties
   次の情報を変更します (hadoop001 はホスト名です)。

   listeners=PLAINTEXT://hadoop001:9092
   log.dirs=/training/kafka_2.11-2.3.1/kafka-logs
   zookeeper.connect=hadoop001:2181
   
        
        
         
         
   
        
        
         
         
   

7. Kafka を開始します (最初に Zookeeper を開始する必要があります)

   kafka-server-start.sh /training/kafka_2.11-2.3.1/config/server.properties
   
        
        
         
         
   
        
        
         
         
   

8. Kafka が正常に起動するかどうかを確認します。
   ポート 9092 が起動しているかどうかを確認します: netstat -anop|grep 9092
   または実行: jps を実行して、kafka プロセスがあるかどうかを確認します
   。
   

3. Kafkaの基本操作

---

1. テスト実行などのトピックを作成します
   。

   kafka-topics.sh --create --zookeeper hadoop001:2181 --replication-factor 1 --partitions 1 --topic test
   
        
        
         
         
   
        
        
         
         
   

2. コンソール プロデューサーを開始します (追加のターミナルを開く必要があります。
   以下を実行します)。

   kafka-console-producer.sh --broker-list hadoop001:9092 --topic test
   
        
        
         
         
   
        
        
         
         
   

3. コンソール コンシューマを起動します (別のターミナルを開く必要があります。
   以下を実行します)。

   kafka-console-consumer.sh --bootstrap-server hadoop001:9092 --topic test --from-beginning
   
        
        
         
         
   
        
        
         
         
   

4. テスト:
   プロデューサーが配置されているターミナルに「hello world」などのテキストを入力し、Enter キーを押します。
   

   コンシューマが配置されているターミナルには、次の図に示すように、ジェネレータから送信された hello world が表示されます。
   

5. このとき、jpsを実行して表示すると、以下のような処理が表示されます。
   

6. この時点で、 zookeeperでどのようなコンテンツが生成されているかを確認できます。zkCli.sh を実行すると、次のコンテンツが表示されます。これは、zookeeper が Kafka のメタ情報を保存していることも示しています。ご自身でご確認ください。
   

1. 前提となる作業

---

Zookeeper をインストールする必要があります

• 単一マシンについては、「ZooKeeper 単一マシンのインストールと構成」を参照してください。
  
• クラスター情報については、「Zookeeper クラスターのインストール」を参照してください。

2.Kafkaのインストール

---

1. kafka_2.11-2.3.1.tgz を /tools ディレクトリにアップロードします
2. 解凍して /training ディレクトリにインストールします

   tar -zvxf kafka_2.11-2.3.1.tgz -C /training/
   
        
        
       
       
   
        
        
       
       
   

3. 環境変数を構成して有効にします。コマンド
   を実行しvi ~/.bash_profile、次の情報を追加して保存して終了します。

   #kafka
   export KAFKA_HOME=/training/kafka_2.11-2.3.1
   export PATH=$PATH:$KAFKA_HOME/bin
   
        
        
       
       
   
        
        
       
       
   

4. 環境変数、効果的な実行:source ~/.bash_profile
5. kafka を保存するためのログ ディレクトリを作成します (kafka インストール パスに作成されます)。

   mkdir /training/kafka_2.11-2.3.1/kafka-logs
   
        
        
       
       
   
        
        
       
       
   

6. server.properties を設定し (ファイルは kafka インストール パスの config ディレクトリにあります)
   、vi server.properties
   次の情報を変更します (hadoop001 はホスト名です)。

   listeners=PLAINTEXT://hadoop001:9092
   log.dirs=/training/kafka_2.11-2.3.1/kafka-logs
   zookeeper.connect=hadoop001:2181
   
        
        
       
       
   
        
        
       
       
   

7. Kafka を開始します (最初に Zookeeper を開始する必要があります)

   kafka-server-start.sh /training/kafka_2.11-2.3.1/config/server.properties
   
        
        
       
       
   
        
        
       
       
   

8. Kafka が正常に起動するかどうかを確認します。
   ポート 9092 が起動しているかどうかを確認します: netstat -anop|grep 9092
   または実行: jps を実行して、kafka プロセスがあるかどうかを確認します
   。
   

3. Kafkaの基本操作

---

1. テスト実行などのトピックを作成します
   。

   kafka-topics.sh --create --zookeeper hadoop001:2181 --replication-factor 1 --partitions 1 --topic test
   
        
        
       
       
   
        
        
       
       
   

2. コンソール プロデューサーを開始します (追加のターミナルを開く必要があります。
   以下を実行します)。

   kafka-console-producer.sh --broker-list hadoop001:9092 --topic test
   
        
        
       
       
   
        
        
       
       
   

3. コンソール コンシューマを起動します (別のターミナルを開く必要があります。
   以下を実行します)。

   kafka-console-consumer.sh --bootstrap-server hadoop001:9092 --topic test --from-beginning
   
        
        
       
       
   
        
        
       
       
   

4. テスト:
   プロデューサーが配置されているターミナルに「hello world」などのテキストを入力し、Enter キーを押します。
   

   コンシューマが配置されているターミナルには、次の図に示すように、ジェネレータから送信された hello world が表示されます。
   

5. このとき、jpsを実行して表示すると、以下のような処理が表示されます。
   

6. この時点で、 zookeeperでどのようなコンテンツが生成されているかを確認できます。zkCli.sh を実行すると、次のコンテンツが表示されます。これは、zookeeper が Kafka のメタ情報を保存していることも示しています。ご自身でご確認ください。